Jego młodszym bratem jest Dick Yarmy.

Zmarł w Los Angeles (Kalifornia, USA) z powodu infekcji płuc. Aktor chorował także na chłoniaka kości powstałego w wyniku złamania biodra ponad rok przed śmiercią. Został pochowany na tamtejszym Hollywood Forever Cemetery.