El palacio gótico que preside la plaza de Jaume I es un viejo conocido de los vilafranquines: algunos lo llaman Palau Baltà, otros recuerdan el antiguo nombre de Palau del Fraret o, simplemente, Can Babau. El edificio se encuentra en el sitio donde se encontraba el castillo original de la ciudad y su huella medieval aún se respira en cada piedra.
Desde el punto de vista arquitectónico, el complejo (planta baja, planta noble y ático revestido con azulejos árabes) se caracteriza por las tres fachadas que dan a la plaza y a las calles de Torre i Escudellers. La principal exhibe dos torres laterales que sobresalen del cuerpo central, una portada abovedada descentrada y, como resultado de una reforma del siglo ochenta, una pequeña tribuna con ventanas coronadas que se ha convertido en su imagen icónica. En el patio interior, actualmente cubierto, se conservan unas escaleras, una ventana gótica y una galería superior de arcos apuntados.
Las fuentes sitúan el origen después de 1308, cuando la familia Babau adquirió el terreno. En 1522, la fachada se unificó y amplió con las casas vecinas, dándole el aire palaciego que admiramos hoy en día. En 1750 pasó a manos de Sarriera, marqués de Manresana, y a mediados del siglo XIX Josep Baltà la compró, le dio un nombre y añadió la tribuna, modernizando el aspecto sin traicionar su esencia.
La historia del Palacio también forma parte de una sucesión de usos: fue un albergue conocido popularmente como «del Pepet Vermell»; en 1977, el Museo de Vilafranca y la Caixa Penedès alquilaron la planta baja para eventos culturales y la bautizaron como Baltà Forum, un espacio que muchos residentes recuerdan para conciertos y exposiciones.
Declarado Bien Cultural de Interés Nacional, el palacio es uno de los testimonios góticos civiles más completos del Penedès. A pesar de ser de propiedad privada y poco visitada, su presencia monumental confiere a la plaza una escenografía perfecta, especialmente durante la Fiesta Mayor, cuando los castillos y las danzas tradicionales bailan literalmente a sus pies.