Ten belgijski hrabia był jednym z fundatorów i założycieli Międzynarodowego Komitetu Olimpijskiego (z ang. IOC). Był jego przewodniczącym w latach (1925–1942).
Jego następcą na stanowisku Prezesa Międzynarodowego Komitetu Olimpijskiego był Sigfrid Edström.
Był synem hrabiego Ferdinanda de Baillet-Latour i hrabiny Caroline d'Oultremont de Duras.