El culto a Nuestra Señora de Gádor es uno de los más antíguos documentados en la comunidad autónoma de Andalucía.El origen de la advocación y la devoción a la Santísima Virgen  se puede retrotraer a la cristianización de una divinidad pagana,debida sin duda a la colonización griega de las costas levantinas y meridionales pninsulares,y la devoción a Nuestra Señorasubsistió incluso durante la estancia de los árabes en estos territorios,ya que,aunque equivocadamente se ha creido lo contrario,existe también tradición mariana entre los musulmanes,con ciertas diferencias marcadas por el hecho de que María es la madre de Jesús,profeta y no Mesías,en la tradición isálmica.
Para llegar a Berja,desde Almería,se toma la N-340 en dirección a Adra.Pocos kilómetros antes de llegar a esta última localidad,hay que desviarsehacia Berja por la C-311. Una vez allíencontraremos la desviación señalizada al Santuario,que dista unos dos kilómetros del centro urbano.La tradición afirma que Juan de Santa María y Domingo de San Juan,ermitaños,edificaron una ermita en el solar de otra más antigua en el año 1588,en el sítio conocido como Pixnela,gracias a las limosnas que recogieron por los alrededores.En el altar del Santuario entronizaron una imagen de la Virgen,de vestir,de poco más de media vara  de altura,así como otra imagen de la Virgen de los Dolores,una de San José y otra de Santa Lucía.
En 1592,a cambio de una limosna del pueblo al monasterio en que los ermitaños decidieron ingresar,cedieron la ermita con las imagenes y ornamentos.Ya por entonces,la imagen entronizada era conocida como Nuestra Señora del Cádor,tomando su nombre de la sierra en que se alza el Santuario,y se funda una Cofradía encargada de velar por el culto de la ermita y atender a las necesidades del edificio,numerosas desde un principio si atendemos a los documentos,escasos por otra parte,que registran en 1620 la conversión de una esclava morisca y otra multitud de favores de Nuestra Señora y sus fieles.
La ermita original fue destruida en 1623 por un huracan,salvándose la imagen milagrosamente,pero en 1642 estaba construido un  nuevo edificio con  casa para el capellan encargado del culto.De nuevo el santo lugar se derrumbó desde sus cimientos por efecto del terremoto acaecido en 1804,salvándose la imagen con el camarín que la albergaba,una estructura de estilo neoclásico que fue sustituida en 1926.
La primitiva imagen se perdió durante el saqueo de que fue víctima el Santuario durante la Guerra Civil. Al finalizar esta se procedió a la restauración de la iglesia y del monasterio que se levantó en 1929 por donación de doña Carmen Flores,Condesa de Jorbalán,convertido en un cuartel durante el conflicto bélico.De los años de la Guerra Civil data la actual imagen de la Virgen,una talla plicromada para vestir que tiene entre sus brazos al Niño de la imagen original.
Actualmente,el culto de Nuestra Señora de Gádor corre a cargo de las Religiosas Esclavas de la Eucaristía,orden que ocupa el convento,y depende de la parroquia de la Anunciación,sita en Berja.

Es espacialmente esperada cada año la procesión del segundo domingo de Cuaresma,en que se baja a a la imagen hasta Berja para ser de nuevo entronizada en el altar el cuarto domingo ;y las fiestas en honor a la Virgen de Gádor,Patrona de Berja,que tiene lugar el 8 de septiembre,previa solemne novena desde el último domingo de agosto.