La causa della decadenza dell'oratorio deve presumibilmente essere individuata proprio nell'abolizione granducale delle Confraternite. La Compagnia di Santa Maria, come le altre associazioni analoghe di Campiglia, possedeva fondi rustici e urbani, nonché numerose "bestie vaccine", i cui proventi le permettevano di svolgere attività religiose e assistenziali (Felice Venturi). In seguito all'editto questi beni furono incamerati dallo Stato.
La
rovina della cappella avviene probabilmente nel giro di pochi decenni. Così,
infatti, il Melini la descrive agli inizi dell'Ottocento: "Fu visitato
questo Oratorio sotto il titolo dell'Annunciazione di Maria, e primieramente
l'unico altare ivi esistente, che fu trovato in stato decente; sopra il predetto
altare esiste un quadro dipinto a tempera in tavola rappresentante la Visitazione
di S. Elisabetta ... Dietro quest'altare esiste una tribuna profonda braccia
tre. La Chiesa, ossia Oratorio, dalla porta d'ingresso sino al Presbiterio
è lunga braccia 18 1/6 ed il Presbiterio compresi i due scalini di travertino
braccia 4 e 2/6, ed è larga braccia 10 ½ con una proporzionata altezza coperta
da soffitto a travi. Il tetto superiore è sostenuto da travi armate. In fondo
di questa Chiesa esiste un piccolo Campanile con Campana, ed un'orchestra
a stucco, e riceve la luce da tre finestre, delle quali due sul lato del Vangelo,
e una sulla facciata. Nel 28 Giugno 1807 questa Chiesa fu trovata in buon
ordine, perché fatta accomodare nell'anno antecedente, come appare dagli atti
della Visita Pastorale VII del Vescovo antecessore, ed allora furono ritrovati
i Sacri Arredi in stato mediocre. Ora, visitata la Chiesa stessa, è stato
osservato che per mancanza di docci in diversi luoghi del tetto va a pericolare
un trave del soffitto sopra l'orchestra, incurvato e marcito dalle acque,
che hanno prodotto la ceduta di parte degli stucchi dell'orchestra stessa.
E' stato osservato esser caduto porzione di muro in alto dalla parte esteriore
lateralmente presso l'ingresso, ed essere altresì cadute due piane sopra la
tribuna, per cui vi piove a cielo aperto, e l'umidità ha fatto scrostare gli
affreschi della tribuna medesima. Fu osservato finalmente esser mancanti molti
docci nelli sgrondi, e sopra il loggiato dal lato dell'Epistola : però fu
ordinato che a diligenza, e a spese delle persone obbligate ... avanti che
entri la stagione jemale sia provveduto convenientemente".
Probabilmente la chiesa non fu riparata, poiché già prima della visita pastorale di Monsignor Bertolozzi del 1852 doveva essere stata sconsacrata se non addirittura distrutta, visto che non se ne fa cenno in quella relazione.
