trzykrotnie żonaty: 1. Catherine Hearst (12.01.1938 - 1982, rozwód), 5 córek: Catherine, Virginia (ur. 1949), Patricia (ur. 20.02.1954), Anne (ur. 1955) i Victoria (ur. 1956); 2. Maria Scruggs (02.05.1982 - 1986, rozwód); 3. Veronica de Uribe (od 05.07.1987 do jego śmierci)