Siguiendo el modelo de otros califatos, Abderramán III ordenó la creación de una ciudad palatina. Estaba destinada a convertirse en la sede del Califato de Córdoba. Había así una bicefalia entre la medina en Córdoba, y Medina Azahara.
En el año 936 se iniciaron las obras, que fueron dirigidas por Maslama ben Abdallah. Nueve años más tarde, tuvo lugar el traslado desde el alcázar califal. Hacia 948 ya estaban construidos muchos edificios como la mezquita y la ceca.
Al-Hakan II continuó con la ampliación de la ciudad. Realizó algunas construcciones como la Casa de Yafar.
La vida de esta nueva capital fue bastante corta. Al morir al-Hakan II, Almanzor, el hayib del califa Hisham II, concentraba todo el poder. Construyó Medina Alzahira, su propia ciudad palatina, en dirección opuesta. Además, el califa, sin poder alguno, quedó confinado en Medina Azahara.
Con la disolución del Califato cordobés, la ciudad se abandona. La situación bélica supuso el fin de la ciudad. Además, en épocas posteriores sufrió numerosos ataques y saqueos.
Hasta el siglo XX, la bella urbe musulmana cayó en el olvido. En 1911 se iniciaron las primeras excavaciones, que duran hasta hoy día.