El palau gòtic que presideix la plaça de Jaume I és un vell conegut dels vilafranquins: uns el bategen com Palau Baltà, d’altres recorden l’antic apel·latiu de Palau del Fraret o, senzillament, Can Babau. L’edifici s’alça sobre el solar on hi hagué el primigeni castell de la vila i la seva petjada medieval encara es respira a cada pedra.
Arquitectònicament, el conjunt –planta baixa, pis noble i golfes cobertes amb teula àrab– es caracteritza per les tres façanes que donen a la plaça i als carrers de la Torre i Escudellers. La principal exhibeix dues torres laterals que sobresurten del cos central, una portalada dovellada descentrada i, fruit d’una reforma vuitcentista, una petita tribuna amb finestrals coronells que s’ha convertit en la seua imatge icònica. Al pati interior, actualment cobert, es conserven escalinates, un finestral gòtic i una galeria superior d’arcs apuntats.
Les fonts situen l’origen després de 1308, quan la família Babau adquirí el terreny. El 1522 es va unificar la façana i es va ampliar amb cases veïnes, dotant-lo de l’aire palatí que avui admirem. El 1750 passà als Sarriera, marqués de la Manresana, i a mitjan segle XIX Josep Baltà el comprà, li donà nom i hi afegí la tribuna modernitzant l’aspecte sense trair-ne l’essència.
La història del Palau és també la d’una successió d’usos: fou hostal popularment conegut com «del Pepet Vermell»; l’any 1977, el Museu de Vilafranca i la Caixa Penedès llogaren la planta baixa per a actes culturals, batejant-la Fòrum Baltà, espai que molts veïns recorden per concerts i exposicions.
Declarat Bé Cultural d’Interès Nacional, el palau és un dels testimonis gòtics civils més complets del Penedès. Tot i ser propietat privada i no visitable de manera regular, la seva presència monumental confereix a la plaça una escenografia perfecta, especialment durant la Festa Major, quan els castells i els balls tradicionals ballen literalment als seus peus.