Sławę, uznanie oraz nagrodę Gildii Aktorów i Złoty Glob przyniosła mu rola Anthony'ego 'Tony' Soprano w serialu "The Sopranos" (1999). Gandolfini studiował na Rutgers University w New Jersey. Tajniki aktorstwa poznawał w nowojorskim Actors' Studio. Na początku lat 90. pojawił się w przedstawieniach: "One Day Wonder", "Tarantulas Dancing" i "Na nabrzeżach". W 1992 debiutował na Broadway'u w "Tramwaju zwanym pożądaniem" z Jessicą Lange i Alecem Baldwinem w rolach głównych.


Na dużym ekranie debiutował w filmie "A Stranger Among Us" (1992), w którym główną rolę zagrała Melanie Griffith. Jego występy w kolejnych filmach, m.in. w "Prawdziwym romansie" (1993) Tony'ego Scotta i "Money for Nothing" (1993), w którym zagrał brata Johna Cusacka, również nie należą do największych. Przełomowym momentem w karierze okazała się rola chłopaka Geeny Davis w dramacie "Angie" (1994). Choć film nie zdobył uznania, jednak Gandolfini otrzymał bardzo dobre recenzje. Od tego czasu zaczął pojawiać się na drugim planie w wysokobudżetowych produkcjach Hollywood. W thrillerze Charliego Sheena "Terminal Velocity" (1994) zagrał śledczego Bena Pinkwatera. W 1995 r. wystąpił we francuskim filmie "Wszystkie poranki świata" Alaina Corneau oraz komedii Barry'ego Sonnenfelda "Dorwać małego". W następnym roku partnerował Demie Moore i Alecowi Baldwinowi w thrillerze "Pod presją" Briana Gibsona. Małą odmianę stanowi rola romantyka Kiefera w komediodramacie "She'a So Lovely" (1997) Nicka Cassavetesa. Kolejnym thrillerem, w którym Gandolfini wystąpił u boku gwiazd, w tym przypadku Nicolasa Cage'a, jest "Osiem milimetrów" (1999) Joela Schumachera. W 2001 r. zagrał u boku Julii Roberts i Brada Pitta w komedii sensacyjnej "Mexican", w reżyserii Gore Verbinski'ego.