Jako syn pułkownika, od wczesnego dzieciństwa wiele razy zmieniał miejsce pobytu. Mieszkał m.in. w Bone, w Marsylii, w Strasburgu. Po odbyciu służby wojskowej przeniósł się do Paryża, gdzie zarabiał pracując dorywczo tu i tam. Tutaj też dostał swoje pierwsze role w krótkometrażówkach.
Sława przyszła do niego wraz z pojawieniem się w dwóch filmach Claude'a Chabrola - "Piękny Serge" i "Kuzyni". Potem Brialy zaczął współpracę z Godardem, Truffautem i Rohmerem. W 1971 zrealizował pierwszy własny film Eglantine, gdzie przywołuje wspomnienia z dzieciństwa. Od tego czasu stał się nieuleczalnym pracoholikiem - kręcił kilka filmów rocznie i godzinami przesiadywał w teatrze.