czterokrotnie żonaty: 1. Marie Shand Sheldon (1881 - 1893, rozwód); 2. Charlotte Behrens (1894 - 1898, jej śmierć), dziecko; 3. Marie Booth Russell (1899 - 31.10.1911, jej śmierć), dziecko; 4. Genevieve Hamper (od 1912 do jego śmierci), syn Robert B. Jr. (ur. 1912)