De casa-palacio a casa de vecinos

En 1707 esta casa perteneció a Don Juan Antonio de La Peña, Presbítero Comisario del Santo Oficio que vivía con su hermana Doña Josefa de la Peña, viuda del capitán Miguel de Mendoza, y Don Manuel de Rosales y Velasco, caballero de la Orden de Santiago, el cual se dedicó a actividades mercantiles.

Posteriormente, la casa pasó a manos de Don Miguel de Rosales y Velasco, hijo de Don Manuel, el cual arrendó la vivienda a varios vecinos pobres. Más tarde, en 1789 la casa se convertiría en un hospital de Caridad.

A partir del siglo XIX, fue ocupada de nuevo por vecinos de El Puerto, así como por gentes llegadas de otras poblaciones cercanas como Jerez y Sanlúcar, que venían a esta ciudad en busca de mejor suerte. Estos se van a dedicar a la pesca, a la obtención de la sal, y a actividades relacionadas con la elaboración del vino y su comercialización.