Urodził się w muzykalnej rodzinie. Pierwsze kroki jako aktor stawiał w teatrze w 1914 roku, a w filmie po raz pierwszy pojawił się w 1918 w "Małych kobietkach". Występował głównie w romantycznych komediach i historycznych dramatach. W czasach kina niemego zagrał m.in. w "What Every Woman Knows", "Fool's Paradise" czy "Bella Donna". Po wejściu do filmów dźwięku jego kariera jeszcze bardziej nabrała rozpędu. Miał wspaniały głos, którym przyciągał widzów. Na dużym ekranie grał do lat 50. Występował również na Broadwayu, w radiu i telewizji. Conrad był założycielem i długoletnim prezesem Academy of Motion Picture Arts and Sciences, a także jednym z inicjatorów nagrody Oscara. Był żonaty i rozwodził się trzykrotnie. Miał dwójkę dzieci. Zmarł w wieku 73 lat. Jego ciało zostało skremowane, a prochy oddano rodzinie.