Es el retrato de una de la familias más importantes de la nobleza española, y unos de los principales clientes de Goya. El aragonés ha realizado un sencillo retrato de grupo en el que lo más importante son los personajes retratados, no hay ningún signo de ostentación en este lienzo, ni siquiera el fondo del cuadro da algún detalle de la lujosa residencia de los duques.

Goya retrata a los duques de Osuna con sus cuatro hijos. Aparecen Pedro Téllez Girón (1755-1807), El IX duque de Osuna, vestido con uniforme y de pie, ocupando el último

La primogénita de los duques es Josefa Manuela (1783-1817), aparece de la mano de su padre, y será retratada por Goya en otra ocasión como La Marquesa de Abrantes. La pequeña Joaquina de pie y cerca de su madre, también volverá a ser retratada por Goya siendo La Marquesa de Santa Cruz. En este retrato las niñas aparecen con sus mascotas, los dos perritos y los abanicos en la mano símbolos de la vida pasiva a la que estaban destinadas las mujeres.

Los niños por el contrario aparecen con sus juguetes que hacen alusión a la vida activa que han de llevar de adultos. A la izquierda y de pie, montado en un bastón a modo de caballo está Francisco de Borja (1785-1820), heredero del título X duque de Osuna, y sentado sobre un cojín, el más pequeño de la familia tira de su carroza de juguete, es Pedro de Alcántara, que llegará a ser director del Museo del Prado y Presidente de la Real Academia de Bellas Artes.

Tanto el duque como la duquesa de Osuna se preocuparon de dar a sus hijos todo su amor y una buena educación, algo que no era muy frecuente en esta época. La duquesa de Osuna, eligió como ayo para sus hijos, a Diego Clementín, un hombre de letras y liberal, que se ajustaba bien a las necesidades de la duquesa. La biblioteca de los duques, contaba con numerosos volúmenes sobre pedagogía, y probablemente la duquesa estuviera influida por las ideas de Rousseau.

El tema de los retratos de familia no es muy frecuente entre los pintores españoles, estaba reservado a extranjeros como Louis Michel van Loo; pero, no obstante Goya puede inspirarse también en una obra de Hogarth, Los niños Graham, y probablemente, un de las obras que más le pudo influenciar fue Las Meninas de Velázquez.

Goya ya había realizado en 1783 un retrato de familia en tono de intimidad en el que aparece autorretratado el propio pintor, es el retrato de La familia del Infante Don Luis y años después, retomará el tema de retrato de conjunto, para realizar La familia de Carlos IV.

En este óleo Goya demuestra el dominio técnico que había alcanzado ya por esos años en la realización de retratos. El primer biógrafo del artista, Vicente Carderera, se refería a su genio como retratista con esta palabras: "Es sorprendente la facilidad con que hacía retratos, por lo regular, los pintaba en una sola sesión y estos eran los más parecidos".

El lienzo es una armonía de grises y verdes, con suaves pinceladas en tonos rosados y oros, es una gama muy utilizada por Goya en obras de esta primera época. La composición típica del estilo Neoclásico, se resuelve en dos pirámides: una a la izquierda formada por los niños y la duquesa en el vértice, y otra a la derecha formada por todo el grupo, en la que el duque es el vértice.