Urodził się w sylwestrową noc -31 grudnia 1948 roku w Pensacola, na Florydzie. Jego ojciec był włosko-amerykańskim marynarzem. Matka Thelma Testman gdy wychodziła za mąż była czternaście lata starsza od ojca. Ma brata Roberta (Boba). Matka została aresztowana na pięć lat za kradzieże. Ojciec rozwiódł się i zabrał chłopców do Nowego Jorku, gdzie pracował jako inżynier elektryk. Chłopcy zostali ostatecznie umieszczeni w umieszczani do Anielskim Domu Opieki w Harlemie i wychowywani przez parę małżeńską w Brooklynie. Joe uczęszczał do szkoły katolickiej. Joe i jego brat Bob mieszkali z rodziną. Joe mając 14 lat ostatecznie zamieszkał ze swoim ojcem. Kiedy Joe uderzał pięścią w nos, został wyrzucony za złe zachowanie w szkole. Spędził większość czasu młodości na kradzieżach samochodów, był aresztowany przez policję. On był skazywany do Obozu Cass Centrum Rehabilitacji dla Chłopców w Catskills na cztery miesięce, ale uciekał stamtąd. Wyjechał do Nowego Jorku, gdzie obrabował teatr RKO w Brooklynie. Wraz z przyjacielem wyjechał potem do Meksyku z branią pod pseudonimem Stanley, by wreszcie przenieść się do Los Angeles. Podczas gdy wisiał przy stacji autobusu, został zaczepiny przez dżentelmena, który chciał mu zrobić zdjęcie w stroju Adama. Tak został wzięty na fograficzną sesję.

Kiedy Joe został aresztowany podczas walki, sąd w Los Angeles odnalazł jego ojca, który żył z nową partnerką i dwiema córkami. Joe ożenił się z jedną z córek -Leslie, która urodziła mu syna Michaela. Joe porzucił jednak małżeństwo i przeniósł się do małego apartamentu na 10-tą ulicę na Manhattanie.

Jego największą ambicją było posiadanie własnej włoskiej restauracji. Karierę zaczynał filmach pornograficznych. W 1967 roku został odkryty przez jednego z najsłynniejszych i najbardziej kontrowersyjnych artystów amerykańskich -Andy'ego Warhola. Sławę zdobył dzięki grupie Factry w latach 60-tych i 70-tych jako przedmiot pożadania dla obu płci w filmach Andy'ego Warhola i Paula Morrisseya- "The Loves of Ondine" [1967], "Lonesome Cowboys" [1968], "San Diego Surf" [1968], "Flesh" [1968], "Trash" [1970] i "Heat" [1972]. W latach 70-ych stał się symbolem seksu, który zmienił obraz męskiej seksualności.
W latach 70-tych i do poczatku 80-tych przebywał w Europie. Jest biseksualny.