Jego ojciec był artystą budowniczym, matka stylistką włosów. Rodzice to z pochodzenia włoscy Amerykanie. Przyszedł na świat 22 listopada 1967 roku w miasteczku Kenosha nad jeziorem Michigan, w stanie Wisconsin. Ma brata Scotta i dwie siostry: Tanię i Nicole. Jednak rodzice rozwiedli się.
Tubylec stanu Wisconsin, ze swoją rodziną przeniósł się do Virginia Beach, w stanie Wirginia, gdzie mieszkał w latach, gdy był nastolatkiem. Po ukończeniu tamtejszej First Colonial High School, przeprowadził się do San Diego i wkrótce wyemigrował na północ, by osiedlić się w Los Angeles. Uczęszczał do konserwatorium Stelli Adler i później założył Orpheus Theatre Company. Pracował jako rolnik w zakładzie Equity-Waiver. Następnie przez dziewięć lat był barmanem.
Zadebiutował na deskach teatru The Cast w sztuce "Avenue A" i przez jakiś czas współpracował z tym teatrem, grając w szeregu nagradzanych sztuk
Justina Tannera, w tym "Still Life With Vacuum Salesman" oraz "Tent Show". Aż otrzymał rolę w nowojorskiej produkcji off-Broadway pt. "This is Our Youth" autorstwa
Kennetha Lonergana i zwrócając na siebie uwagę krytyków odebrał nagrodę Lucille Lortel dla Najlepszego Aktora.
Mark Ruffalo jest także scenarzystą, reżyserem i producentem. Był jednym z autorów scenariusza do filmu "
The Destiny of Marty Fine", dla niezależnej wytwórni, który w 1995 roku zajął drugie miejsce podczas Festiwalu Filmowego Slamdance w Park City w stanie Utah.
Brał udział w ośmiuset przesłuchaniach. Aż doczekał się wreszcie przełomowej roli Terry'ego Prescotta w dramacie "
Możesz na mnie liczyć" Kennetha Lonergana. Rola ta przyniosła mu nagrodę Nowego Pokolenia przyznawaną przez Związek Krytyków Filmowych Los Angeles i dla Najlepszego Aktora na festiwalu filmowym w Montrealu oraz nominację do nagrody na Chicago Film Critics Association, Independent Spirit Award i trzecie miejsce wytypowane przez Społeczność Krytyków Filmowych w Bostonie. Na małym ekranie można go było zobaczyć m.in. w serialu "
Patrol" jako Zane'a Marinelliego.
W czerwcu 2000 roku ożenił się z aktorką
Sunrise Coigney, a spotykali po prostu na ulicy. Mają syna Keena (ur. 2001).
Zagrał główną rolę w niezależnej produkcji "
XX/XY", pierwszym filmie wytwórni Nylon Films, w reżyserii
Austina Chicka, na podstawie jego własnego scenariusza. Miał potem pojawić się w thrillerze SF "
Znaki", lecz jednak musiał opuścić plan filmowy ze względu na rozpoznany guz mózgu i tymczasowo jego twarz była częściowo sparaliżowana. Wtedy jego rolę przejął aktor
Joaquin Phoenix. Interpretacja postaci Stana, jednego z techników Lacuna Inc. w komedio-dramacie romantycznym "
Zakochany bez pamięci" wypadła w jego wykonaniu szczególnie dobrze.
Jest laureatem takich nagród teatralnych jak Dramalogue i Theater World. Powrócił na scenę jako Stephen w przedstawieniu "The Moment When", sztuce zdobywcy nagrody Pulitzera i nagrody Tony,
Jamesa Lapine. Jest także reżyserem kilku sztuk teatralnych (m.in. "Margaret"
Timothy'ego McNeila w Hudson Backstage Theatre w Los Angeles) i jednoaktówek.