Należy do grupy aktorów, którzy dopiero w starszym wieku ujawnili w pełni swoje możliwości. Kiedy miał siedemnaście lat, zaczął występować w teatrach off-broadwayowskich. Przez pięć lat pracował jako rysownik w New York Daily News. Studiował w prestiżowym Actors' Studio Lee Strasberga. Odnosił znaczące sukcesy teatralne. Karierę zaczynał od występów w filmach i serialach telewizyjnych, m.in. w "Bonanzie", "Mavericku" "Nietykalnych". Krytycy docenili jego grę w "The Outer Limits" (1964). Trzy sezony (1966-69) występował jako Rollin Hand w serialu "Mission Impossible", w którym grała również jego ówczesna żona Barbara Bain. Przez wiele lat kojarzony był z rolą komendanta stacji kosmicznej "Alfa" z "Kosmosu 1999".

Na dużym ekranie debiutował w thrillerze Alfreda Hitchcocka "Północ - północny zachód" (1969). Wystąpił w hollywoodzkiej superprodukcji "Kleopatra" (1963) Josepha L. Mankiewicza. Zabłysnął rolą wodza Walks-Stooped-Over w komediowym westernie "Na szlaku Alleluja" (1965) Johna Sturgesa. W tym czasie zaczął grywać "czarne charaktery". Do jednego z ostatnich dobrze przyjętych filmów z tego okresu należy tragikomedia "The Last Word" (1979) Roya Boultinga. Całkowitą klęską okazał się natomiast występ w kolejnej adaptacji opowiadania Edgara Allana Poe "Upadek domu Usherów" (1979). Lata 80. to najgorszy okres w karierze Landau'a. Grywał wówczas w trzeciorzędnych filmach s-f, horrorach i thrillerach. Kolejną szansę otrzymał dopiero w 1988, kiedy to Francis Ford Coppola zaangażował go w "Tuckerze". Krytycy dobrzy przyjęli Landaua w roli bogatego lekarza wplątanego w wyniszczający związek miłosny w "Zbrodniach i wykroczeniach" (1989) Woody Allena. Oba filmy przyniosły mu nominację do Oscara. W "Maksie i Helenie" (1990) Philipe'a Saville'a zagrał tropiciela hitlerowskich zbrodniarzy.