ośmiokrotnie żonaty: 1. Ava Gardner (10.01.1942 - 21.05.1943, rozwód); 2. B.J. Baker (30.09.1944 - 03.06.1949, rozwód), 2 synów: Joseph Yule III (ur. 03.07.1945) i Timothy Hayes (ur. 04.01.1947); 3. Martha Vickers (03.06.1949 - 25.09.1952, rozwód), syn Ted Michael (ur. 13.04.1950); 4. Elaine Devry (18.11.1952 - 18.05.1958, rozwód), 2 dzieci; 5. Carolyn Mitchell (01.12.1958 - 31.01.1966, jej śmierć), 4 dzieci: Kelly Ann (ur. 13.09.1959), Kerry Yule (ur. 30.12.1960), Michael VI (ur. 02.04.1962) i Kimmy Sue (ur. 13.09.1963); 6. Margaret Lane (10.09.1966 - 14.12.1967, rozwód); 7. Carolyn Hockett (27.05.1969 - 24.01.1975, rozwód), córka Jonelle (ur. 11.01.1970); 8. Jan (od 28.07.1978 do jego śmierci)