Il castello venne acquistato nel 1029 dal marchese Ugo di Provenza, quindi passò ai Malaspina per poi tornare all'Abbazia (1048), della quale seguì il destino: passato con tutti gli immobili agli Sforza di S. Fiora rimase per un certo periodo in auge quale sede del giusdicente di Val Tolla (insieme al castello di Sperongia) quindi andò in rovina quando questa funzione civile fu trasferita a Lugagnano. Gli stessi Sforza di S. Fiora (ramo Cesarini) rimasti proprietari del feudo di Vernasca fino al Settecento, furono privati dei propri domini con la venuta degli eserciti napoleonici; durante questo periodo Vigoleno divenne un centro resistenza dei contadini locali contro le depredazioni ed i soprusi dei soldati francesi.
Nel 1815 venne costituito il Comune di Vigoleno, il cui territorio corrispondeva approsimativamente all'attuale Comune di Vernasca; occorre notare come a quel tempo Vigoleno fosse un centro abitato ben più popoloso di Vernasca. Nel 1851 tuttavia, per iniziativa di Carlo III di Borbone, il capoluogo comunale fu definitivamente spostato a Vernasca.