Urodzony w Harlemie, miejscu łatwego dostępu do narkotyków i broni, Ving, wychowany w głębokiej wierze, zawsze trzymał się z daleka od ulicznych gangów zasilanych zastępami szkolnych kolegów. W ostatniej klasie podstawówki zetknął się z nauczycielką angielskiego, która odkryła w nim talent aktorski. Dzięki niej zaprezentował się na konkursie poetyckim, a udane wystąpienie przypieczętowało jego decyzję o podjęciu dalszej nauki w New York High School of Performing Arts na Manhattanie. Był jedynym uczniem swojej poprzedniej szkoły, przyjętym do tak znamienitej instytucji. Po ukończeniu collegu w 1978 r, Ving otrzymał stypendium na Juilliard School of Drama, gdzie zaprzyjaźnił się z innym młodym i obiecującym aktorem, Eriqiem La Salle, znanym dziś przede wszystkim jako dr Peter Benton z "Ostrego dyżuru".

Podczas studiów Rhames poznał dzieła Shakespeare'a i z lubością poświęcał się teatrowi klasycznemu, oddając hołd takim twórcom jak chożby Ibsen czy Czechow. Studia ukończył w 1983 r. Debiutował na Broadway'u w 1985 r. sztuką "The Winter Boys", gdzie partnerował Mattowi Dillonowi. Przez następne lata grał w przedstawieniach typu "off - Broadway" , przyjmował też epizodyczne role w serialach np. w "Miami Vice". We wczesnych latach 90 - tych wziął udział w "Casualties of War" czy "Jacob's Ladder" ale zaistniał dopiero dzięki pamiętnej roli (Marsellus Wallace) u Quentina Tarantino w "Pulp Fiction". Dzięki swemu przyjacielowi ze studiów, Eriqowi La Salle, pojawił się w kilku odcinkach "Ostrego dyżuru" i poznał swą przyszłą żonę Valerie Scott, którą poślubił w 1994 r. Po "Pulp Fiction" przyszły kolejne lukratywne propozycje w "Striptease" , "Mission Impossible" czy "Con Air - lot skazańców", które ostatecznie zaowocowały współpracą z takimi gwiazdami jak George Clooney i Jennifer Lopez przy okazji kręcenia "Co z oczu to z serca", Sean Connery i Catherine Zeta-Jones w "Osaczonych", czy samym Martinem Scorsese i Nicolasem Cage w "Ciemnej stronie miasta". Nawet Tom Cruise umieścił go w obsadzie drugiej cześci "Mission Impossible".
Przydomek "Ving" wymyślił dla niego współlokator z czasów college'u, aktor Stanley Tucci.