Jego rodzicami są Benjamin Carson Sr. i Candy Carson.

Ma dwoje rodzeństwa: brata Murraya i siostrę Rhoeyce.