Els cabrera deixaren Palafolls sota un castlà principal, que al 1401 era Pere Mateu. A més a més, hi havia un castlanus maris i un guardià de la mar, la qual cosa ens dóna fe de la importància que tenia aquesta fortalesa, junt amb la de Malgrat, en la vigilància i defensa de la costa. És amb els Cabrera que el castell s'eixamplà de nou, es reformà i es convertí en una fortalesa impressionant.Del 1435 tenim noticia d'un interessant document d'un vassal, dit Pere Verges Descoll, dels enyor de Palafolls:---que dit Castell de Palafolls és Castell termenat amb els seus termes, límits i franqueses; i que vinc obligat als treball s i guates de dit Castell per raó del meu ma, anomenat mas Verges Descoll; i que teniu en mi i els meus successors dret en dit mas, en guerra i en pau, dret d'host i cavalcada i crit de "Via fora"; i que tinc i dec donar-vos llirar-vos el quart de tos els senglars i altres bèsties feres que jo agafi dins les termes de dit Castell.Bernat Joan de Cabrera era nét de bernar´di i fou quie, a la primera guerra dels remences, féseu cosntat al rei Joan II, que el nomenà gran conestable. Lar reian Joan enriquez hi confiava i li cncomanà que amb els seus castells, un delsq uels era el de paalafolls, iamb l'ajut dels pagesos de verntallat, barrés el pas al compte de Pallars, que avançafava amb l'exercit aixecat per la Generealitat, en direcció a Girona, on era la reina. Bernat Joan, amb més de 60 anys, no va poder imperdir-ho. El caste de Palafolls va caure en mans de les tropes del comte de PAALLARS, QUE ASSETJAREN EL VESCOMTE EN LA SEVA CAPITAL, hostalrich, on va lliurar-se sense cobatre, se'l va empresonar i el portaren a Barcelona, on va reeixir al 1466.La diputació del general (Genrealitat), enforntada amb Joan II proclamà rei el consetable Pere de Portugal i aquest l'any 1465, nomenà capita de la zona nord de barcelona (dominIs dels cabrera) Berran d'armendariz. Així, el castell de Palfolls passà a ser posssió d'aquest soldat de fortuna. La seva muller, joana galceran de pin´ños com aprocuradora general del seu marit confrimà les granqueses i llibertats dels vassals de Palafolls, que havien estat concedides pels Cabrera temps abans.Armendariz, en qui la Generalitat confiava, fou un dels set caps que al 1471 es passaren al bàndol de Joan II, precipitant així la fi de la contesa (1472) a favor del monarca. Com a agraïment al seu gest --o com a traïció depèn de com es mir,--, Joan II li concedí el senyoriu de Palafolls, entre altres propietats que forren dels Cabrera, els quas es veieren així desposseïts sense cap compensació. Bertran d'Armendariz morí l'any 1474, i els seus hereus acceptaren compensacions econòmiques d'Anna de Cabrera -dels cabrera de sícilia-- per la possessió de Palafolls. Així, el 1477 el castell tornà s ser propietat dels cabrera.A la segonsa guerra de remença, després de l'assatlt de 1485 dels pagesos, a la notaria del castell de Montpalau, que incendiaren, Enric II d'aragó, lloctinent general de Catalunya, ordenà que fos ben guardat el Castell de Palafolls.L'any 1520 n'era senyor frederic enriquez de cabrera, comte mÒdica i vescomte de cabrera i de baass , entre altes títols, el qual vengué el vescomtat al 1574 -incloent-hi el castell de Palafolls- al comte d'Aitona i d'osona, frances de montcada i de cabrera, que confirmà les franqueses i llibertas als seus valssals.Malgrat que al segle XVI encara es feren reformes, considerada la seva proximitat a la costa i el perill pirata, va restar cada vegada més abandonat i els seus murs anaren enfonsatn-se al llarrg dles segles XVII i XVIII.Al 1722 passà per matrimoni, al ducat de Medinaceli. Aleshores ja era abandonat i derruït.