Ma trzy młodsze siostry: bliźniaczki Mary-Kate i Ashley oraz Elizabeth. Ma również dwójkę młodszego przyrodniego rodzeństwa: brata Jake'a i siostrę Taylor.

Jest synem Davida Olsena i Jarnett Fuller Olsen.