Ukończył uniwersytet w Louvain.

Był synem hrabiego Ferdinanda de Baillet-Latour i hrabiny Caroline d'Oultremont de Duras.

Jego żoną była hrabina Elisabeth de Clary.

W 1906 roku pomagal w zakładaniu belgijskiego Komitetu Olimpijskiego.

Miał dwoje dzieci: Sophie i Guy'a.

Ten belgijski hrabia był jednym z fundatorów i założycieli Międzynarodowego Komitetu Olimpijskiego (z ang. IOC). Był jego przewodniczącym w latach (1925–1942).

Zmarł w Brukseli (Belgia).

Jego następcą na stanowisku Prezesa Międzynarodowego Komitetu Olimpijskiego był Sigfrid Edström.