Antes de tratar lo que ver en Vejer de la Frontera lo mejor es repasar su historia. Esta es antigua gracias a su posición. El terreno era de muy fácil defensa, en un cerro próximo a un río. Por ello, el lugar fue fortificado desde la Edad del Bronce. Por entonces le llamaban Besaro ( VII a. de C.). Más tarde, los romanos lo denominaron Baessipo, siendo una población relevante, mencionada por varios historiadores.
Desde el mismo año de 711, tras la batalla del río Guadalete, los visigodos perdieron el lugar en favor de los musulmanes comandados por Tariq. A finales del siglo IX, los pobladores mozárabes se rebelaron contra el Califato de Córdoba. La situación duró hasta que en el 895 el príncipe omeya Motarrif asaltó la fortaleza.
Durante la dominación mahometana fue denominada Besher. Poseía una alcazaba, alzada entre las casas que fueron edificándose de forma abigarrada, conformando el aspecto de sus calles y plazas. De esos cinco siglos de control musulmán quedan como testimonio la puerta del castillo (del siglo XI) y varios lienzos de muralla. También destacan elementos decorativos de la iglesia parroquial y muchos edificios privados.
En 1250, Fernando III de Castilla tomó la localidad. Sin embargo, el trato a los mudéjares no debió de ser el adecuado, pues estos se sublevaron catorce años después. Tras dos meses de rebelión, los castellanos recuperaron el control de la localidad, expulsando de ella a sus habitantes. Durante años fue conocida como «Véjer de la miel» por la gran cantidad de colmenas que había en el municipio.
Permaneció como villa de realengo hasta el año 1285, cuando Sancho IV encargó su defensa y repoblación a la Orden Militar de Santiago. Entre 1288 y 1293 esta realizó un repartimiento de tierras para atraer población. Además, los vecinos tenían derecho a unos amplios terrenos comunales. Parte de los mismos eran sorteados para su disfrute, o el de sus rentas, por el sistema de las «hazas de suerte».
Alcanzados los siglos XIII y XIV, Vejer de la Frontera fue un importante bastión contra los benimerines que dominaban Algeciras. También frente al Reino Nazarí de Granada, por lo que acabó añadiendo «de la frontera» a su nombre. El señorío pasó en 1307 al célebre caballero Guzmán el Bueno. Permanecería largo tiempo en manos de sus descendientes, los duques de Medina Sidonia.