Para saber que ver en Altafulla, antes es interesante conocer su historia. El origen del poblamiento en Altafulla está relacionado con los romanos, que edifican la villa romana Dels Munts cerca de la Vía Augusta. En la costa, estos también fortificaron la peña que domina la playa: el Castrum Tamarit.
A partir del siglo III transitan por la zona grupos de bárbaros procedentes de más allá de los Pirineos, estableciéndose en la misma los visigodos a partir del siglo V. Estos resisten a los árabes hasta el año 716. De ninguna de las dos civilizaciones quedan vestigios apreciables.
Durante el siglo X es una zona fronteriza entre musulmanes y cristianos de la que no hay noticias concretas. En el siglo XI, sobre el castrum de Tamarit, en el saliente rocoso situado en el extremo sur de la actual playa de Altafuya, se edificó un castillo que formó parte de la línea de defensa del río Gaià. Por aquel entonces era propiedad del caballero Bernat Sendred de Gurb.
El condado de Barcelona recuperará la propiedad del castillo, que en el 1060 cede al linaje de los Amat de Claramunt para su defensa. Permaneció en poder de los Claramunt hasta el siglo XIV. Después de eso, adquiere la propiedad el barón Francesc de Vallgornera, aunque éste se lo venderá al arzobispado de Tarragona.
En 1462 el arzobispo, aliado del rey Juan II de Aragón en la Guerra contra los nobles de la Generalitat, cede el castillo como base de sus ataques a Tarragona. Sin embrago, lo perderá en 1470 a manos de las tropas mercenarias contratadas por la Generalitat, que se quedaron allí cinco años.
Una epidemia de peste motivó que el castillo fuera abandonado en el siglo XVI. Una noche de Todos los Santos su campana comenzó a repicar, motivando una leyenda que todavía se recuerda. Como parte de los dominios del arzobispado, éste compartirá el dominio de la localidad con los señores de Altafuya hasta la eliminación de los señoríos en 1814.
El Señorío de Altafuya tiene una trayectoria independiente a Tamarit. En el siglo XI accede a la posesión del lugar la familia Transunyer a cambio de entregarle al conde de Barcelona el importe de la mitad de las capturas de pesca realizadas por los pescadores del puerto.
Como parte de la baronía de Entenza (incorporada al condado de Prades), en 1324 el rey Jaime II de Aragón se lo cede a su hijo Ramón Berenguer. En 1337 Altafulla aparece como una propiedad de una rica familia de mercaderes tarraconenses, los Requesens. En 1363 estos protegen la población con una muralla, denominándose Vila Closa (Villa Cerrada) hasta hoy en día.
Pasa a ser un dominio de la familia Corberá-Sant Climent en el siglo XVI. Del mismo modo, en el s. XVII la adquiere el caballero Francesc de Montserrat. El caballero recibe el título de Marqués de Tamarit en 1681 (aunque el castillo de dicho nombre nunca le llegó a pertenecer, pues era del arzobispado).