Jest synem Laurence'a Oliviera i Jill Esmond.

Jest wnukiem Evy Moore i H.V. Esmonda.

Ma trójkę przyrodniego rodzeństwa: Richarda, Tamsin i Julie Kate.