Joe Spinell urodził się jako Joseph J. Spagnuolo na Manhattanie w rodzinie włoskich imigrantów, jako najmłodszy z szóstki rodzeństwa. Pierwszy kontakt z aktorstwem przeżył dzięki matce, która miała na koncie epizody w kilku filmach. Będąc jeszcze uczniem szkoły średniej, Joe zaczął grywać w sztukach teatralnych na terenie Nowego Jorku. W roku 1960 podpisał pierwszy zawodowy kontrakt. Wtedy też zasugerowano mu zmianę nazwiska na Joe Spinell, ponieważ było ono łatwiejsze do wymówienia niż oryginalne. Przez następne 9 lat występował w grupie znanej pod nazwą Theater of the Forgotten, która dawała przedstawienia między innymi w zakładach karnych. Z uwagi na niskie zarobki artysta w tym czasie musiał imać się dodatkowych zajęć takich jak prowadzenie taksówki, praca na poczcie lub sprzedaż alkoholi w sklepie monopolowym. W 1972 roku nastąpił przełom w jego karierze, kiedy to zagrał małą rolę w "Ojcu chrzestnym". Była to jego pierwsza kreacja na dużym ekranie, dzięki której zaczął być rozpoznawalny. Kolejne występy w takich dziełach jak "Ojciec chrzestny II" czy "Rocky" ugruntowały jego pozycję jako aktora charakterystycznego, który najczęściej był obsadzany w rolach gangsterów, zbirów bądź skorumpowanych policjantów. W roku 1980 zagrał seryjnego mordercę w filmie "Maniak". Jest to chyba jego najbardziej znane i pamiętne wcielenie. Spinell był również współautorem scenariusza do tego obrazu. Zamierzał nawet nakręcić drugą część, lecz plany te zostały przerwane przez nagłą i tajemniczą śmierć w 1989 roku. Joe został znaleziony martwy w swoim mieszkaniu, a jako przyczynę śmierci podawano zawał serca, atak astmy oraz wykrwawienie na śmierć w wyniku nieszczęśliwego wypadku. W życiu prywatnym Joe Spinell borykał się z chorobami takimi jak astma czy hemofilia oraz alkoholowym i narkotykowym nałogiem. Jego żoną była Jean Jennings, gwiazda filmów dla dorosłych. Mieli jedno dziecko, rozwiedli się w 1979 roku. Był bliskim przyjacielem Sylvestra Stallone oraz ojcem chrzestnym jego syna Sage'a Stallone.