John Rhys-Davies urodził się 5 maja 1944 roku w Salisbury w Wielkiej Brytanii.
Ukończył Royal Academy of Dramatic Arts. pracę ze sceną rozpoczął w Madder-Market Theather w Norwich. Zagrał w wielu sztukach, kilkanaście razy wcielał się w postacie szekspirowskie. Był związany z Royal Shakespeare Company.

W filmie zadebiutował małym epizodem w "Wiatrakach śmierci". Zagrał również w "Poszukiwaczach zaginionej Arki", "Indianie Jones i ostatniej krucjacie", "Victorze/Victorii" i wielu innych.

Dla telewizji wystąpił w wielu filmach i serialach, m.in. w "Szogunie" (nominacja do nagrody Emmy), "Sliders - Piąty wymiar", "Nietykalnych", "Ja, Klaudiusz", w "Wojnie i pamięci" oraz w "Nagim urzędniku".

Najważniejszą jak dotychczas jego rolą w filmach fabularnych były kreacje w epickiej trylogii  J.R.R. Tolkiena: "Władca Pierścieni: Drużyna Pierścienia", "Władca Pierścieni: Dwie Wieże" i "Władca Pierścieni: Powrót Króla", w których wcielił się w krasnoluda Gimli.