Philip Edward Hartmann urodził się 24 września 1948 roku w Brantford, Ontario. Jego pierwsze nazwisko było pisane przez dwa 'n' na końcu, jednak później Philip zmienił to na jedno 'n'. Jako syn Ruperta i Doris Hartmann'ów Phil był bardzo opiekuńczą i czułą osobą i nazywano go "słodką i miłą ostoją spokoju". Mimo, że urodził sie w Kanadzie, jego rodzina wyprowadziła się, kiedy Phil był jeszcze młody i większość dzieciństwa spędził w Connecticut and Południowej Kalifornii.Początkowo studiował grafikę na stanowym uniwersytecie Kalifornia i projektował okładki na płyty takich zespołów jak Crosby, Stills, Nash i Young.
W 1975 roku dołączył do trupy komediowej The Groundlings w Kalifornii i zdał sobie sprawę, że ma telent do komediowania. To właśnie w The Groundlings spotkał Paul'a Rubens'a, który stał się najlepszym przyjacielem Phil'a przez jego całą karierę. Razem stworzyli postać "Pee Wee Herman'a". Phil poznał także w The Groundlings swojego późniejszego przyjaciela Jon'a Livitz'a. W 1986 wystąpił w "saturday Night Live" i stał się ulubieńcem widowni. Był na scenie przez 8 sezonów, co było rekordem, który on i Kevin Nealon dzierżyli do kiedy Tim Meadows pobił go dziewięcioma sezonami.
W 1995 Philip opuścił SNL i zagrał jedną z głównych roli w uznanym przez krytyków show "News Radio". Przedstawił tam pewnego siebie i aroganckiego gospodarza radia, Bill'ego McNeal'a. Phil zagrał także w takich filmach jak Houseguest (1995), Jingle All The Way (1996), Greedy (1994) oraz Small Soldiers (1998). Phil zmarł 28 maja w 1998 roku w swoim domu w Encino w Kalifornii. Został zastrzelony przez swoją żonę, Brynn Hartman, która póżniej, tego samego dnia, zastrzeliła także siebie. Osierocili dwoje dzieci, Sean Edward (który wówczas miał 9 lat) i Birgen (która miała 6). Jego prochy zostały rozrzucone nad wyspą Catalina, nad wybrzeżem kalifornijskim, które było ulubionym miejscem wypoczynkowym Phil'a.