trzykrotnie żonaty: 1. Anne Guiot (09.07.1845 - 1845, jej śmierć), 2. Agnes Robertson (1853 - 1888, rozwód), 6 dzieci: Dion William (ur. 1855), Eva (ur. 1857), Dion George Jr. (ur. 23.05.1859), Patrice (ur. 1862), Nina (ur. 27.02.1867) i Aubrey (ur. 1868); 3. Josephine Louise Thorndyke (od 09.09.1885 do jego śmierci)