Cuenta la leyenda que en el siglo XVII un navío italiano buscó refugiarse de un fuerte temporal en la bahía de Algeciras. Una vez que este remitió, el barco trató de retomar su rumbo. Pero cada vez que intentaba abandonar la bahía un nuevo temporal se lo impedía y así sucedió hasta que una imagen de la Virgen que portaba una palma en la mano fue desembarcada de su interior. Este acontecimiento fue interpretado como una señal de que la Virgen se negaba a abandonar Algeciras. Tiempo después, la Virgen de la Palma terminaría por convertirse en Patrona y Alcaldesa perpetua de la localidad.
Esta fiesta tiene sus orígenes en 1975, en el marco de una iniciativa de actividades submarinas promovida por la Sociedad Federada de Pesca Deportiva El Mero. Durante todo el año, la imagen de la Virgen descansa en una cueva a unos 15 metros bajo el nivel del agua de la bahía. Todos los meses, equipos de buzos se encargan de llegar hasta ella para cuidarla y evitar que las mareas la trasladen de sitio.