Leo Gordon urodził się 2 grudnia 1922 roku w Nowym Jorku. W czasie II wojny światowej wstąpił do armii, jednak kłopoty z dyscypliną i nieumiejętność podporządkowania się spowodowały, że wystąpił z niej w 1943 roku. Zanim rozpoczął studia w American Academy of Dramatic Arts, odsiedział w więzieniu San Quentin wyrok za napad z bronią w ręku. Kilka lat później powrócił w to miejsce już jako aktor podczas kręcenia zdjęć do filmu „Riot in Cell Block 11”.
Jako aktor charakterystyczny ma na swoim koncie wiele ról u boku największych sław światowego kina, między innymi Clarka Gable’a („Żołnierz fortuny”), Johna Wayne’a („Rewolwerowiec”), Jodie Foster i Danny’ego Glovera („Maverick”). Jest także autorem scenariusza  do filmu „Tobruk” z Rockiem Hudsonem, w reżyserii Arthura Hillera.
Zmarł na zawał serca 26 grudnia 2000 roku w Los Angeles. Jego żoną była Lynn Cartwright, z którą wystąpił wspólnie na planie filmów „Black Patch” i „Son of Hitler”.