Cuando a partir del 2 de octubre de 1779 comenzaron a llegar las primeras familias colonizadoras de las márgenes del río Negro fueron alojadas en cobertizos en los que se protegían contra la intemperie. Tendrían que permanecer allí hasta que la Corona de España cumpliera el compromiso que había contraído con los pobladores, por el cual tenía que otorgarles “casa habitación digna”, entre otros beneficios.

Pero como el cumplimiento del convenio se hizo esperar demasiado y los cobertizos se deterioraron, los colonos cavaron su propio hogar en los barrancos de la costa.

Esas excavaciones fueron las hoy llamadas cuevas de los maragatos. Hacia fines del siglo XVIII, las autoridades virreinales llamaron a licitación para la construcción de casas para los pobladores de El Carmen. Ganó esa licitación el marino y constructor José de la Peña, conocedor de todo nuestro litoral atlántico que había actuado en cuanta expedición recorriera el sur y especialmente misión colonizadora de Juan de la Piedra.

A principios de la década del ‘20 se construyeron las primeras casas en Patagones. Las tres viviendas de adobe y techo de tejas que aún quedan en Patagones se erigieron pocos años después de 1800. Una de ellas es La Carlota, la segunda, la Casa de la Cultura y la tercera, la de Juan José Rial.

El auge de la economía del saladero en el Río de la Plata atrajo a Patagones a negociantes que llegaban a la zona en busca del producto de las ricas salinas de la zona. En ese contexto, se establecieron también saladeristas, hacendados y comerciantes.

La presencia en la ciudad de gente de una posición económica relativamente holgada llevó al comandante José Gabriel de la Hoyuela a solicitar en 1821 a Bernardino Rivadavia que le enviara albañiles que estuvieran en condiciones de levantar viviendas dignas de esas personas.
Rivadavia mandó entonces a dos diestros albañiles en condición de forzados, ya que no encontró ninguno que quisiera venir voluntariamente. Existe una fuerte presunción de que fueron esos hombres los constructores de las tres casas.