La primera referencia que tenemos sobre el edificio data de 1244, en concreto del 4 de septiembre del mismo año en el que según  recoge Vicente Rausell, existe una escritura de donación del castillo de Anna,[1] otorgada por Jaime I  de Aragón  que junto a él ,cede las Villas de Anna y Enguera a la Orden de Santiago, siendo maestre  D. Pelayo Pedro Correa.

Es pues aceptable  determinar que el edificio original, Castillo o fortaleza situada en la Plaza de los Álamos, tenia un papel  más de carácter de guarnición de vigilancia, que un  valor estratégico que nunca lo tuvo, por tanto estamos ante una fortaleza de carácter modesto que  frecuentemente soportaba sobre todo en los años anteriores a 1272 fuertes presiones de la mayoría  mora, que acabó  reubicándose  “ extramuros “ de la Villa en la partida de Agres.

Los años anteriores a 1272,conocemos de la existencia del castillo  ya  que  la Villa de Anna estuvo bajo la influencia del moro Al – Azrach, un  caudillo militar nacido en un pueblo del valle de Pego, y que  encabezo un levantamiento que  produjo a Jaime I  la perdida de los castillos de  Montesa, Vallada, Chella, Navarres y Anna.

Una de las mandas que Jaime I establece en la donación de la Villa de Anna  a la Orden de Santiago, era la de proceder a su  repoblación, que debió suponer el establecimiento de  los primeros  pobladores , cristianos, en el entorno de la fortaleza en la zona de la Alameda formando las primeras calles que son el origen del núcleo de lo que devino en llamarse como el “poblado”. Obviamente fueron inicialmente razones estratégicas y de seguridad las que llevaron a tomar la decisión del emplazamiento y las que posteriormente  condicionaron  al menos a una parte de  la población ; tal es así que en siglos posteriores la presión que ejercieron los nuevos pobladores, cristianos, sobre la mayoría morisca, acabo, después de la expulsión de 1609, arrasando con  la mezquita y el poblado de Agres que quedó reducido a una sola masía  que llegó a perdurar hasta el siglo XX.

  De su etapa  fundacional allá por los siglos XII /XIII , nos quedan los basamentos del edificio en su parte posterior .La primera transformación  del edificio se produce después de 1604 cuando se produce la venta  de la Villa de Anna en tiempos de  Felipe III .

 El 3 de mayo de 1604  el Rey   erige en condado la Villa de Anna [2] y serán precisamente D. Fernando Pujades Olim Borja  y su esposa Francisca Alapont Relleu, Señora de Relleu, los primeros Condes de Anna, los que se hacen cargo del  primitivo castillo. En esta época  en la que los Condes comienzan la remodelación del edificio para hacerlo  habitable por la familia, el Condado de Anna contaba  con 160 casas la mayoría de moriscos.

             Probablemente condicionados por los  diversos problemas  con la justicia que tuvo el Conde,si que consta que este matrimonio pasa largas temporadas en la vivienda señorial del Palacio en la Plaza de los Álamos, manteniendo una relación más próxima con la población que la que sostuvieron los anteriores propietarios. El 8 de agosto de 1603, mientras pasaban la temporada de verano, nace en la vivienda de los condes en Anna uno de sus hijos, . Juan ,José Benet, Salvador, Melchor, Buenaventura, que es bautizado en la localidad[3] . En la parte noroeste del edificio se encontraba situada la puerta de acceso al oratorio que se construyo en la  casa en honor  a Santa Ana. El 13 de septiembre de 1619 se celebró en esta capilla   el matrimonio de dos pobladores siendo párroco Pedro Almenar[4].En la parte oeste disponía de un torreón que albergó en esta época una campana.

            El 9 de febrero de 1648, fue bautizado en este oratorio un moro “ esclavo” de los Señores Condes, siendo padrinos D. Andrés Coloma y Dña Isabel Francisca Pujades  Borja , condes de Elda y Anna. El 7 de mayo de 1674 se celebra otro bautizo en el oratorio de la casa palacio, siendo ecónomo el licenciado Diego Molina[5]. Por esta época  el edificio sufrió un  gran incendio y padeció  una primera intervención  que no guardo ninguna unidad de estilo.

            Tras el terremoto de 1748 y debido  a las obras de restauración que se llevaron a cabo en la iglesia por el hundimiento de las bóvedas se instalo en la Plaza de los Álamos una tienda donde se colocó provisionalmente el Santísimo Sacramento y donde prosiguió el culto de forma provisional, como fuera que las obras se espaciaron en el tiempo se traslado  al jardín del Palacio y finalmente al oratorio, que se abrió al culto de toda la población hasta el día 16 de enero de 1750 , en que se dieron por finalizadas las obras de la Iglesia .

            En el año 1885 se efectuaron obras importantes de restauración a expensas de Cruz Navarro Sarrión y con tal motivo se pinto un lienzo al óleo que según Vicente Rausell se conservó en la sacristía de la Iglesia Parroquial de Benetuser, “ en el aparecen la figura de S. Vicente Ferrer y sobre fondo el edificio del Palacio con los andamiajes y en la parte baja las figuras de Sta Ana y Sta Barbara, una a cada lado del cuadro “ y en la base del cuadro  una inscripción con la fecha de 1855 y el  nombre de Cruz Navarro Sarrión.

                Los últimos Condes de Cervellón se marcharon de Anna a finales del siglo XIX como consecuencia del pleito por la edificación de un molino harinero en la parte posterior de la casa palacio a cargo de un vecino de Anna que se apodaba el Lorchano . Alrededor de 1890  el tal Lorchano que se apellidaba Camallonga, ganó el pleito y los Condes vendieron sus propiedades a D. Ricardo de Trenor  Bucelli, casado con Doña. Josefa Isabel Palavicino Ibarrola. Este matrimonio que pasó largas temporadas en  el edificio de la plaza de los Álamos, nacieron Leopoldo y Ricardo Trenor Palavicino.

Como consecuencia del resultado del pleito y para evitar el peligro que representaba para sus hijos la acequia que conducía el agua al molino en el paño lateral izquierdo donde existían tres puertas, una de ellas la de la primitiva capilla de Sta Ana, fue tapiada por los nuevos compradores, quedando alli un estrecho pasillo por donde se accedía a la reja de la acequia.

Leopoldo se casa con Rosario Pardo de Bonlebún y Rojas inspiradora de la capilla de Sta. Ana que tenía el edificio antes de su demolición y que tenia acceso directo a la plaza de los Álamos; de igual forma se  cambió la ubicación de la campana, que paso de la torre noroeste a situarse en el ultimo cuerpo del edificio justo encima de la nueva puerta de acceso a la capilla. De este matrimonio nació Carmen Trenor Pardo que casó con Valentín Moure López  y ellos y sus hijos: Santiago, Gonzalo, Valentín y Patricia fueron los últimos moradores de la casa palacio.