Herbert Marx urodził się 25 lutego 1901 roku w Nowym Jorku jako najmłodszy z piątki rodzeństwa. Karierę rozpoczął w wodewilowym zespole swoich braci. Do grupy dołączył w 1918 roku zastępując Gummo i podobnie jak on, na scenie zachowywał się poważnie, w kontraście do wygłupów Groucho, Chico i Harpo. Pojawił się w najsłynniejszych filmach Braci Marx: "Sucharach w kształcie zwierząt", "Końskich piórach", "Małpim interesie" i "Kaczej zupie". Po zakończeniu zdjęć do tego ostatniego filmu zrezygnował z kariery aktorskiej. Głównym powodem było to, że czuł się niedoceniony, pozostając jedynie tłem dla pozostałych braci. Nie rozstał się jednak z show-biznesem i wspólnie z Gummo założył agencję menedżerską.

Był dwukrotnie żonaty i oba małżeństwa zakończyły się rozwodami. Marion Bendę poślubił w 1927 roku i wspólnie z nią adoptował dwóch synów, Timothy'ego i Thomasa. Ich związek zakończył się w 1954 roku. Pięć lat później ożenił się z Barbarą Blakeley, z którą rozwiódł się w 1972 roku.

Zeppo zmarł na raka płuc 30 listopada 1979 roku w Palm Springs w Kalifornii. Był ostatnim z żyjących członków grupy. Jego prochy rozrzucono nad Oceanem Spokojnym.