Alan Wolf Arkin urodził się 26 marca 1934 roku w  nowojorskim Brooklynnie. Jego rodzicami byli żydowscy emigranci z Rosji i Niemiec. W 1946 Arkinowie przenieśli się do Los Angeles w Kalifornii. Ojciec, David I. Arkin, był artystą i pisarzem, który pracował jako nauczyciel. Stracił pracę, gdy odmawiał odpowiedzi na pytania dotyczące jego przynależności politycznej w latach 50. Matka, Beatrice także utrzymywała rodzinę jako nauczycielka i miała wspólne poglądy z mężem.

Młody Arkin lubił muzykę i aktorstwo. Począwszy od 10. roku życia uczęszczał do różnych klas aktorskich. Śpiewał w studenckim zespole ludowym i brał udział w zajęciach teatralnych. Porzucił szkołę, tworząc grupę muzyki ludowej "The Tarriers", w której był wokalistą i grał na gitarze. Wówczas Arkin był młodym aktorem, który grywał w telewizji i na scenie. Ponadto na życie zarabiał jako doręczyciel, mechanik, opiekun do dziecka czy przy myciu garnków. W latach 1958–1968 występował i nagrywał z grupą folklorystyczną dla dzieci "The Babysitters".

Po raz pierwszy na dużym ekranie Arkin pojawił się jako jeden z wokalistów "The Tarriers" w filmie "Calypso Heat Wave" (1957). Rok później przyszedł czas na jego debiut na deakach teatru, gdzie pojawił się jako śpiewak w sztuce "Heloise". W 1961 roku z kolei po raz pierwszy wystąpił na scenie Broadwayu w musicalu „From the Second City”, do którego napisał także tekst. Rola Davida Kolowitza w broadwayowskiej komedii „Enter Laughing” zaowocowała natomiast nagrodą Tony dla najlepszego aktora drugoplanowego w 1963.

Potem przyszedł czas na kino. W 1966 zadebiutował w filmie fabularnym główną rolą w komedii "Rosjanie nadchodzą" Normana Jewisona. Kreacja por. Rozanova, marynarza okrętu podwodnego omyłkowo wziętego za sowieckiego szpiega przez ludność  pobliskiego miasteczka przyniosła spore uznanie - Arkin otrzymał za nią Złoty Glob oraz swą pierwszą nominację do Oscara. Już w kolejnym roku ujawnił swój talent dramatyczny jako psychopatyczny zabójca Harry Roat w dreszczowcu "Doczekać zmroku" (1967), w którym partnerował Audrey Hepburn. Po raz drugi do Oscara został nominowany za rolę głuchoniemego Johna Singera w dramacie "Serce to samotny myśliwy", z kolei w 1970 wcielił się w postać kapitana Yossariana w ekranizacji słynnej powieści Josepha Hellera "Paragraf 22", wyreżyserowanej przez Mike'a Nicholsa.

Lata 90. to dla Arkina okres kilku ważnych występów. Pojawił się wówczas także w takich produkcjach, jak "Edward Nożycoręki" (1990), "Glengarry Glen Ross" (1992), "Zabijanie na śniadanie" (1997),  "Gattaca - Szok przyszłości" (1997) czy "Jakub kłamca" (1999). Za występ w roli dziadka Edwina Hoovera w komediodramacie "Mała Miss" (2006) otrzymał swojego pierwszego, długo wyczekiwanego Oscara. Kolejną nominację przyniosła mu rola producenta filmowgo Lestera Siegela w opsypanym nagrodami thrillerze "Operacja Argo" (2012).
Arkin jest postrzegany jako nowoczesny człowiek renesansu. Na przestrzeni lat poza osiągnięciami jako aktor, reżyser i producent wyróżnił się jako piosenkarz czy autor tekstów piosenek, opowiadań science-fiction i książek dla dzieci. Z poprzednich małżeństw ma trzech synów - Adama, Matthewa oraz Anthony'ego, z czego wszyscy trzej także są aktorami. Prowadzi ekologiczny styl życia i jest zwolennikiem ochrony środowiska czy siedlisk przyrodniczych.