Ma troje rodzeństwa: brata Vincenta Cassela, siostrę Olivię oraz młodszą przyrodnią siostrę ze strony ojca - Cécile.

Jego ojcem jest Jean-Pierre Cassel.