Jest dzieckiem żydowskich imigrantów z Niemiec. Wychowywał się wraz z dwojgiem rodzeństwa: bratem Ronniem i siostrą Barbarą, która zmarła na białaczkę. Podczas studiów grał w futbol amerykański w drużynie uniwersytetu Michigan. Aktorstwo wybrał będąc w koledżu. W 1960 roku został przyjęty do nowojorskiego Neighborhood Playhouse. Zadebiutował w off-broadwayowskim przedstawieniu "I Roam", po czym występował krótko na Broadway'u w sztuce "Mandingo". Z powodu konfliktów w zespole Caan odszedł z teatru i zaangażował się w telewizji, gdzie szybko stał się rozchwytywanym aktorem charakterystycznym. Na wielkim ekranie James Caan zadebiutował w 1964 r. w thrillerze "Dama w klatce" Waltera Graumana. Rok później Caan zagrał swoją pierwszą główną rolę - kierowcy wyścigowego Mike'a Marsha w "Czerwonej linii 7000". Weteran ponad pięćdziesięciu filmów, był nominowany do Oscara za "Ojca chrzestnego" w 1972 roku, cztery razy otrzymał nominację do Złotego Globu. Z Sheilą Ryan ma syna Scotta, który jest aktorem. Ze swoją czwartą żoną Lindą ma dwóch synów Jamesa (ur. 1995) i Jacoba (ur. 1998).