Przyszedł na świat w rodzinie urzędniczej. Ukończył filozofię na prestiżowym Uniwersytecie Waseda. Był zdeklarowanym pacyfistą. W 1941 roku wstąpił do wytwórni Shochiku. Po wcieleniu do Cesarskiej Armii Lądowej notorycznie odmawiał awansu na stopnie wyższe od szeregowego, mimo zasług na polu walki. Trafił na front w Mandżurii, gdzie został pojmany. Po roku spędzonym w niewoli powrócił do Japonii, gdzie rozpoczął pracę pod okiem Keisuke Kinoshity, był asystentem reżysera i scenarzystą. W początkowym okresie twórczości dołączył do grona artystów obalających mit samurajskiego ducha poprzez rozrachunek z militaryzmem, zyskując sobie miano jednego z najbardziej bezkompromisowych przedstawicieli nurtu. Największym osiągnięciem reżysera z lat 50. jest monumentalna trylogia "Dola człowiecza". Dzięki niej, Kobayashi został obwołany drugim po Kurosawie wielkim twórcą powojennej Japonii.

Międzynarodową sławę przyniósł mu film "Harakiri", arcydzieło jidai-geki (film historyczny) nagrodzone na festiwalu w Cannes. Nagrodę Specjalną Jury na tymże festiwalu otrzymał dzięki obrazowi "Kwaidan, czyli opowieści niesamowite", wówczas jednej z najbardziej kosztownych produkcji japońskich. Kręcił głównie dramaty historyczne, powracając w późniejszym etapie swojej twórczości do interpretacji i oceny najnowszych dziejów kraju, jak choćby w 5-godzinnym dokumencie "Tokyo Saiban" (zapis rozprawy sądowej z lat 40.). W 1970 roku był jednym z kandydatów do realizacji sekwencji japońskich w dramacie wojennym "Tora! Tora! Tora!".

Styl reżysera cechuje wysmakowana praca kamery, będącej zawsze ważnym, acz bezstronnym elementem przekazu treści. Przywiązywał uwagę do kompozycji kadru, wykorzystania przestrzeni, nadania zdjęciom głębi i ekspresji. Do gatunku jidai-geki wprowadził niespotykany artyzm sekwencji walk na miecze, zbliżony w swej choreograficznej precyzji do baletu. Ukazywał brutalne działania antyhumanitarnych mechanizmów społecznych, z którymi zmagali się bohaterowie uosabiający ogół ludzkości. Demaskował wielowiekowy kodeks bushido. W jego filmach, samotni samurajowie walczyli z bezduszną machiną feudalizmu. Choć portretował głównie dawną Japonię, nadawał swoim obrazom wymowę uniwersalną.