trzykrotnie żonaty: 1. (rozwód); 2. Doreen Moran (10.10.1945 - 22.01.1970, rozwód), 7 dzieci: Nelson III (ur. 1947), Rosemary (ur. 1948), Christopher (ur. 1950), Bettina (ur. 1954), Leonora Celeste (ur. 1957), Cecily Jean (ur. 1962) oraz Maureen Alicia (ur. 1962); 3. Naomi Tenenholtz (od 11.04.1970 do jego śmierci)