Tarkowski dorastał w rodzinie, w której wielką wagę przywiązywano do sztuki i kultury. Jego matka - Maria Iwanowna była korektorką, zaś ojciec - Arseniusz Aleksandrowicz - uznanym poetą i tłumaczem. Po rozwodzie rodziców Andriej wraz z siostrą Mariną pozostał przy matce, kontynuując naukę w Moskwie. Poza nauką również uczestniczył w zajęciach z muzyki i malarstwa. W 1951 roku zapisał się do Moskiewskiego Instytutu Języków Orientalnych, lecz ze względu na kłopoty zdrowotne zmuszony był przerwać naukę. W 1954 roku został przyjęty na prestiżową uczelnię - Instytut Kinematografii (VGIK) w Moskwie.
Tu największy wpływ na rozwój młodego geniusza miał
Michaił Ilycz Romm, jego nauczyciel. Swój dyplomowy film
Mały marzyciel nakręcił wraz z
Andriejem Michałkowem-Konczałowskim.
Debiutancki film,
Dziecko wojny, oparty na opowiadaniu
Władimira Bogomołowa, został pokazany w Moskwie w kwietniu 1962 roku i w tym samym roku zdobył Złotego Lwa na festiwalu filmowym w Wenecji.
Nie bez przyczyny Andriej Tarkowski pośmiertnie został nazwany "poetą ekranu".