Wychował się na Manhattanie. Jako młody chłopiec miał reputację ulicznego wojownika. Nigdy jednak nie udało mu się wpaść w poważniejsze tarapaty. Potem zaczął pracować, aby móc uczyć się na Uniwersytecie Columbia w Nowym Jorku. Porzucił jednak szkołę po śmierci ojca. Nieco później pojawił się w swej pierwszej roli w teatrze. Tam uczył się również tańczyć i śpiewać. W 1920 roku poszczęściło mu się i wystąpił po raz pierwszy na Broadwayu w sztuce "Pitter Patter". Tam poznał Frances Willard Vernon, która w 1922 roku została jego żoną. Przez następne 10 lat nie występował. W końcu aktor Al Jolson polecił go do filmu "Sinners' Holiday". Dzięki tej kreacji wytwórnia Warner Bros. podpisała z nim kontrakt. Jego pierwszym, wspaniałym sukcesem była rola we "Wrogu publicznym". Później wielokrotnie wcielał się w postacie gangsterów nawiązując do roli we wspomnianym hicie. Kolejnym ważnym obrazem, w którym wystąpił jako zła postać był "Aniołowie o brudnych twarzach". Kilka lat później zrobił sobie małą przerwę od ról w filmach gangsterskich i zagrał śpiewającego oraz tańczącego bohatera w "Yankee Doodle Dandy". Za tę kreację dostał jedynego w swym życiu Oscara. W 1949 roku pojawił się w ostatnim swym gangsterskim filmie "Biały żar". Później wystąpił jeszcze w: "The West Point Story", "Mister Roberts", "Człowiek o tysiącu twarzy" i "Raz, dwa, trzy". Po tej ostatniej produkcji odszedł na emeryturę. Zajął się tym, co zawsze bardzo lubił: hodowlą koni, malowaniem obrazów i pisaniem wierszy. Po raz ostatni pojawił się w filmie telewizyjnym "Straszliwy Joe Moran" w 1984 roku. Zmarł w wieku 87 lat na atak serca.