La piccola chiesa dedicata a S. Filippo Benizi, chiamata dal popolo Madonna del Petreto, si trovava "alla distanza di circa due miglia e mezzo a levante [di Campiglia] per la strada che conduce ai Bagni" ed era annessa ad un piccolo convento o eremo dei Padri Serviti. La relazione di don Mario Melini, segretario della visita pastorale di monsignor Giacinto Pippi, del 1819, fornisce un ulteriore interessante dato circa la collocazione di questa chiesa e del conventino, all’epoca già completamenti rovinati : "…a destra di questi ruderi" una " scabra stradetta" conduce alla grotta di S. Filippo Benizi. Ma una testimonianza più completa sull’aspetto e la posizione dell’edificio ci è data dall’architetto Leonardo de Vegni, il progettista della ristrutturata parrocchiale di S. Biagio : "Proseguendo la strada che vien da Campiglia, passati alquanti ben grossi e alti scogli di pietra tiburtina poco porosa e compatta quasi al pari di un marmo, il primo oggetto che s’offre è un’antica piccola chiesa, restaurata modernamente da Padre Fancelli Generale dei Servi, come testifica il seguente monumento, scritto economicamente sull’intonaco sopra la porta dalla parte interiore: D.O.M. / PERVETUSTUM SACELLUM / HUMILITATI POENITENTIAE PRODIGIIS / DIVI FILIPPI BENITII SACRUM / ETRUSCA MARIAE SERVORUM RELIGIO / OPE R.MI P. JOANNIS PETRI FANCELLI / SERVORUM PRIORIS GENERALIS / IN PERENNE DEVOTIONIS MONUMENTUM / A FUNDAMENTIS RESTITUIT / ANNO REPARATAE SALUTIS MDCCXLVIII.
La fabbrica antica era di maniera gotica …Il poco ornato degli stucchi all’interno, quasi appena fatti, è perito, per inavvertenza degli artefici, che usarono per gli intonachi calce mischiata con polvere limacciosa e cretacea degli alvei dei fossi vicini credendola arena. Può non ostante immaginarsene il gusto dal contorno delle finestre centinate e fatte a biscia…Annesso a questa chiesa esiste ancora un angusto conventino di poche, ed umili stanze ,abitato una volta dai Religiosi Serviti, ed oggi da un Romito custode…" (LEONARDO DE VEGNI, Descrizione del Casale, e Bagni di San Filippo, 1761).

I verbali delle visite pastorali ci consentono di delineare le successive vicende di chiesa e convento.

Già nel 1775 la loro situazione era preoccupante: il vescovo Giuseppe Bernardino Pecci, di ritorno dalla visita a Bagni S.Filippo, non solo la trova in pessimo stato, ma riscontra anche gravi irregolarità nella soddisfazione degli oneri del beneficio della Madonna del Petreto, annesso all’unico altare della chiesa, di cui è rettore il sacerdote don Antonio Minetti di Pienza. Questi non si è presentato di persona, ma ha fatto pervenire la documentazione delle messe legate al beneficio solo per ciò che riguarda il periodo dal novembre 1774 al luglio 1775 (e siamo appunto nel mese di luglio: forse il sacerdote beneficiario ha provveduto ad assolvere i suoi obblighi supponendo - a ragione - che il nuovo Vescovo, eletto nel giugno 1774, avrebbe al più presto intrapreso la sua prima visita pastorale…).

Non c’è documentazione per il periodo precedente, e Pecci comanda che la si presenti al più presto. Si ritrova inoltre, nel corredo di paramenti sacri, una pianeta "lacera e indecente"; mancano varie suppellettili, ed il conventino-eremo cui la chiesa è annessa è in condizioni penose. Fa le spese della situazione il frate-custode lì residente, Giovanni Battista Fioretti, che viene ammonito a mantenere tutto maiori munditia , con maggior pulizia, e a compiere lavori di manutenzione ove necessario.

Cinque anni dopo non è cambiato molto: la chiesa è sempre in statu minitantis ruinae, anche se l’altare è stato sufficientemente ornato e rifornito (e il Vescovo commendavit maiorem decentiam); c’è anche una pianeta bianca in buone condizioni, ma non ve ne sono altre (sono state fatte sparire in previsione della visita?). Quanto al beneficio della Madonna del Petreto, non ci sono né il rettore don Antonio Minetti né la documentazione delle messe, e questa volta il Vescovo impone il termine di due mesi non solo per dimostrare la soddisfazione degli obblighi, ma anche per provvedere ai lavori di restauro e alle sacre suppellettili mancanti.

Per ciò che riguarda il conventino, non c’è più nessuno ad abitarlo, ed è in condizioni di degrado : il vescovo Pecci ordina allo svagato don Minetti, che è anche patrono del convento e come tale esercita - in teoria - il diritto di scegliere l’eremita da cui farlo abitare e custodire, di provvedere anche a questi restauri e alla nomina entro tre mesi.

Evidentemente non se ne fa nulla, se è vero che nella visita del 1786 il beneficio della Madonna del Petreto risulta traslato dalla soppressa chiesa di S.Filippo Benizi all’altare maggiore di S.Biagio. Il solito don Antonio Minetti ne è ancora il rettore, e gli obblighi delle messe sono stati assolti dall’ultima visita pastorale in poi, ma chiesa e conventino sono stati abbandonati. Forse il vescovo di Montalcino non può pretendere di più da un sacerdote che, in fondo, non dipende direttamente da lui, ma dalla diocesi di Pienza : e quindi si limita ad ordinare che per il futuro tenga regolarmente la "vacchetta" delle celebrazioni, altrimenti pagherà due lire di multa per ogni messa mancante.

Ma nel 1790 sono già ricominciate le irregolarità: per motivi che non è possibile conoscere, il beneficio della Madonna del Petreto è stato nuovamente traslato, ed ora è annesso alla chiesa di S. Filippo Apostolo ai Bagni. La gestione di don Minetti appare così negligente che il vescovo Pecci finalmente ordina di sequestrare i canoni d’affitto che, in virtù del beneficio, devono essere versati al rettore da parte di Pietro Guasconi, affittuario del podere "Casa Nuova Guasconi", e di far celebrare le messe cui il beneficio obbliga da un sacerdote "esterno", che riceverà da don Minetti due lire per ciascuna funzione.

Del beneficio del Petreto si parlerà ancora nel 1807: è ritornato in S.Biagio, probabilmente perché don Minetti si è deciso a nominare un prorettore che celebri al suo posto nella persona del proposto di Campiglia pro tempore, don Paolo Visconti, che ha accettato l’incarico nel maggio 1807 ( la visita pastorale si svolge alla fine di giugno…), ma, al solito, non è stata presentata alcuna documentazione per il passato. Il vescovo Pecci, forse stremato, dichiara che "dovrà essere premura della nostra Curia di ricercarne il conto."

Probabilmente non sapremo mai che cosa sia accaduto negli anni successivi, ma nel 1819 la situazione è rientrata. Certo la chiesa del Petreto non c’è più, e nemmeno il conventino: don Mario Melini, cancelliere di monsignor Giacinto Pippi, il nuovo vescovo di Montalcino, recandosi con lui da Campiglia a Bagni S. Filippo osserva "…i ruderi dell’antica piccola chiesa e dell’angusto conventino abitato una volta dai religiosi Serviti e di poi da un romito custode" (la prosa ricalca fedelmente - e non solo qui  - il testo di De Vegni, ma sulle rovine sembra quasi aleggiare ora un’aura remota di leggenda); tuttavia don Antonio Minetti risulta in regola. E così ci piace lasciarlo; aggiungendo però, per amore di cronaca, che nella visita del vescovo Paolo Bertolozzi del 1852 si registrerà che dal 1823 il beneficio è passato sotto il rettorato di un don Giovanni Cardeti , che a sua volta lo ha affidato a un prorettore, don Vincenzo Chiarpellini dell’Abbadia: e questi, in base ad un decreto vescovile dello stesso 1823, assolve agli obblighi nella chiesa di S.Filippo ai Bagni, dove si reca a celebrare la messa nei giorni di festa come cappellano curato.