Il romitorio in cui nel 1269 S. Filippo Benizi visse per tre mesi per sottrarsi all’offerta del pontificato ed in cui in seguito abitarono vari altri religiosi dello stesso ordine dei Servi di Maria, tra cui il Beato Benincasa da Firenze, che vi si ritirò nel 1402 e vi rimase per ventitre anni, è da sempre oggetto di particolare venerazione popolare, anche se diverrà vera e propria cappella solo nel 1793, dietro istanza del prevosto di Campiglia don Giovanni Domenico Canestrelli, che vi fa erigere un altare. Prima di questa data non è soggetta a visita pastorale, anche se il Vescovo, in transito da Campiglia ai Bagni, vi compie brevi soste di preghiera.

La prima vera e propria visita, del 1795, è comunque rapida : monsignor Giuseppe Bernardino Pecci loda la "decenza" dell’altare e delle suppellettili e raccomanda il proseguimento della devozione popolare.

La visita successiva, anch’essa veloce, è del 1807: lo stato è decente, gli arredi buoni: la devozione popolare, evidentemente, dà i suoi frutti.

E’ con la visita di monsignor Pippi del 1819 che abbiamo un’accurata descrizione non solo del romitorio, ma anche dell’ambiente naturale circostante. Ne è autore il cancelliere Mario Melini, che per l’occasione mostra di essersi accuratamente documentato: cita infatti testualmente stralci della "Descrizione del Casale, e Bagni di S. Filippo in Toscana con i suoi annessi" (pagg. 8-10) dell’architetto Leonardo De Vegni, un’interessante relazione inviata nel 1761 a Gaetano Monti, professore di Storia Naturale dell’Università di Bologna e del prestigioso Istituto Marsiliano della stessa città.

In essa, accanto a precise notazioni scientifico-naturalistiche, pare di percepire una sorta di sensibilità preromantica per l’ambiente selvaggio, di forte impatto emotivo e suggestivo: e chissà che non sia stata proprio questa caratteristica ad affascinare don Melini, tanto da indurlo a fare propria la prosa del De Vegni: "… Alla distanza di circa due miglia e mezzo a Levante, per la strada che conduce ai Bagni sunnominati si osservarono i ruderi di un’antica piccola Chiesa e di un angusto Conventino abitato una volta dai religiosi Serviti e di poi da un romito custode.[ si tratta, come abbiamo già visto, dei resti della chiesetta di S.Filippo Benizi o Madonna del Petreto]. A destra di questi ruderi una scabra stradetta introduce in un eremo denso, ed orrido per gli scogli smisurati di pietra tiburtina poco porosa, e compatta quasi a pari di un marmo, tramezzati da pochi alberi grandi, ma da molti cespugli di cornio, nocciuolo, e carpino. Sotto uno dei massi più alti inclinato all’orizzonte, e quasi appoggiato ad un altro più basso vedesi l’antichissima spelonca divisa con un tramezzo in due stanze, e murata esternamente dalle due pareti, ove non le fanno parete gli scogli, con pietre riquadrate, in cui si entra per due opposte porticciuole fatte ad arco. La piccola stanza rivolta a ponente, nella quale esiste l’Altare poggiato al detto tramezzo con un gradino a stucco modernamente costruito, sopra di cui similmente a stucco si venera un busto rappresentante S. Filippo Benizi, ed in una nicchia guardata da lamine di vetro conservasi un antico simulacro di legno rappresentante Gesù Crocifisso alto braccia 1 e 1/2 rozzamente scolpito, di cui la tradizione del luogo porta che ne fosse l'autore il Santo predetto, serve di pubblico Oratorio, ove per devozione si celebra solenne Festa nel giorno dedicato al Santo Titolare, 23 agosto di ciaschedun anno…, ed i Sacerdoti, e i popoli di Campiglia e limitrofi vi si portano più volte tra l’anno a celebrare, ed ascoltare il Divino Servizio…" Gli arredi sacri si conservano nella casa di un podere vicino chiamato Pietrineri, e vengono portati all’oratorio quando necessario. Tale oratorio " …nella maggior sua altezza giunge a braccia sette, nella sua lunghezza a braccia 7 e 5/6, e nella sua larghezza a braccia 6 e 1/6. L’altra stanza ,che attualmente serve di Sagrestia, della medesima altezza della precedente, nella quale esiste un antico focolare, ed una sedia confessionale larga braccia 5, lunga braccia 7. Sopra la porta, che introduce nell’Oratorio, leggesi un’iscrizione italiana di barbaro dialetto incisa rozzamente, che sembra possa leggersi così "CHELTO LIOCO EN DIFICATO PER RHABONE REBELLATO"

Sin qui don Melini ha fedelmente seguito la descrizione di De Vegni, che peraltro così continua, con spirito illuministico non condivisibile dal sacerdote: " Appresso poi quei popoli, non solo s’è creduto l’edificatore il Benizi, ma ancora il muratore : e lo fanno di più statuario, e scarpellino, additando dentro questo tugurio, come opere di lui mani, un Crocefisso, ed un capezzale di legno, un tramezzo, ed un contorno di sepoltura incavato nel suolo a punta di scarpello; persuasi, che volesse ivi prepararsi la tomba, ma che avvertito da ispirazione divina cessasse; con molte altre favolose tradizioni, al solito delle genti semplici…Per disingannarli della loro credulità…basterebbe fargli apprendere , che non dovea mai venirgli sospetto d’ ivi morire; avendo già predetto al Padre Lotaringo Stufa suo compagno, in atto di colà ritirarsi, che dopo tre mesi volea trovarsi in Firenze al capitolo; conforme infatti seguì…" (pag. 10). Il testo di De Vegni aggiunge un altro particolare degno di menzione: " Vicino al descritto Romitorio, in un alto scoglio, all’altezza di tre uomini, dalla parte rivolta a tramontana, vedonsi correttamente scolpite le cifre seguenti: Q. G. 1543. 11 . N. Un povero passaggiere fu il primo, a darne casualmente ai nostri tempi qualche interpretazione, spiegando : Qui Giunse 1543. 11 Novembre. Egli imperito della Storia la supponeva relativa al Benizi. Ma riducendola a doversi intendere di qualche Romito posteriore, non mi pare affatto da disapprovarsi." (ibid.)

Il mantenimento della chiesetta era affidato alla Compagnia di Carità del SS.Sacramento, di S. Filippo e di S.Biagio, costituita nel 1785 dopo la soppressione delle altre Confraternite laicali e riformata nel 1815. Le sue buone cure non mancano di mostrare i loro effetti: né il vescovo Sergardi Bindi nel 1825 e 1834, né il vescovo Bertolozzi nel 1852 trovano nulla da eccepire: l’eremo di S.Filippo è senza dubbio, nel complesso, l’edificio ecclesiastico del circondario in migliori condizioni…

Sempre in occasione della visita del 1852 il Vescovo emana un decreto volto a reprimere alcune disinvolte abitudini degli ecclesiastici che si recavano ai Bagni per motivi di salute (e non dovevano essere pochi, visto che l’ Ospedale era, o era stato fino a tempi relativamente recenti, di proprietà episcopale) : "Noi Paolo Bertolozzi per la Grazia di Dio, e della Sede Apostolica Vescovo di Montalcino - Venuti Noi in cognizione, con sommo nostro dispiacere, che alcuni Sacerdoti Estraordinari specialmente in tempo delle bagnature si fanno lecito celebrare la S .Messa nella Cappella di S. Filippo Benizji … senza i decenti Ecclesiastici Abiti, e senza avere esibito la lettera testimoniale del proprio ordinario, e che eziandio si fanno lecito esercitare funzioni sacre, e cantare la Messa senza previa autorizzazione del Parroco di questo luogo; e volendo Noi eliminare un tale abuso, col presente nostro Decreto ordiniamo