Neuf années ont passé depuis le mariage de Polly, l'union de Clary et d'Archie et le divorce de Louise. Une nouvelle génération d'enfants a vu le jour, et quand la Duchesse s'éteint en juin 1956, elle emporte avec elle les derniers vestiges d'un monde révolu. Hugh et Edward, tous deux remariés, doivent faire face aux difficultés financières de l'entreprise familiale ; Louise, désormais mannequin, a une liaison avec un homme marié, tandis que Polly et Clary tentent de trouver un équilibre entre leur foyer et leurs ambitions personnelles.

1939, Angleterre. Alors que la guerre débute, la famille Cazalet tente de maintenir sa routine quotidienne. Louise, 18 ans, intègre une école de cuisine où elle rencontre Stella Rose, une jeune juive. Clary est persuadée que son père Rupert, porté disparu, est toujours vivant tandis que Polly, sa meilleure amie, est perturbée par les conflits entre ses parents et tombe amoureuse de Christopher.