Jest drugim z dziesięciorga rodzeństwa.

Jest ojcem siedemnaściorga rodzonych i jednego adoptowanego dziecka:
- ze związku z Gracitą Dominguez ma 6 dzieci: synów Manuela, Dolphy'ego Jr., Freddiego, Edgara, i Rolly'ego oraz córkę Salud;
- ze związku z aktorką Glorią Smith ma 4 dzieci: córkę Mariquitę oraz synów Carlosa S., Dino i Edwina;
- ze związku z Pamelą Ponti ma 4 dzieci: synów Ronniego, Erica i Jeffreya oraz córkę Madonnę;
- ze związku z Evangeline Tagulao ma syna Rommela;
- ze związku z Almą Moreno ma syna Vandolpha;
- ze związku z Zsa Zsą Padillą ma 2 córki: rodzoną Zię i adoptowaną Nicole.

Zmarł w Makati (Filipiny) z powodu przewlekłej obturacyjnej choroby płuc.