Przyszedł na świat w klinice psychiatrycznej, gdyż jego ojciec był tam ordynatorem. W 1950 roku dostał się do Królewskiej Akademii Sztuk Dramatycznych w Londynie. Po studiach wstąpił na rok do wojska. Potem przyłączył się do Royal Shakespeares Company, z którą współpracował przez następne dziesięć lat. Aktor po raz pierwszy pojawił się na scenie w przedstawieniu "Tytus Andronikus" reżyserowanym przez Laurance'a Oliviera.

Następnie zadebiutował na wielkim ekranie - zagrał Puka we "Śnie nocy letniej"(1968). Za film "The Bofors Gun" Jacka Golda Ian Holm otrzymał, w 1968 roku, nagrodę Brytyjskiej Akademii Filmowej dla najlepszej męskiej roli drugoplanowej. Stworzył niezwykłą kreację aktorską w "Obcym" Ridley'a Scotta, w którym zagrał androida Asha. W 1981 roku otrzymał nagrodę Brytyjskiej Akademii Filmowej, nagrodę na festiwalu w Cannes, oraz nominację do Oskara dla najlepszego aktora drugoplanowego za rolę w "Rydwanach ognia" Hugh Hudsona. Aktor zagrał też u Woody'ego Allena w filmie "Ta druga kobieta", jako mąż głównej bohaterki oraz u Luca Bessona w "Piątym elemencie"(1997), jako ksiądz Vito Cornelius. Holm wystąpił również w ekranizacji trylogii "Władca Pierścieni" J.R.R. Tolkiena w reżyserii Petera Jacksona, gdzie zagrał Bilbo Bagginsa.