Była córką znanego prawnika. Wychowała się i uczyła na Manhattanie. Jako młoda dziewczyna zainteresowała się teatrem i w wieku 17 lat zadebiutowała na scenie w musicalu. W 1909 stała się gwiazdą Broadwayu, a rok później wyjechała do Londynu, aby tam kontynuować grę w teatrach. Tymczasem z USA nadeszło kilka propozycji podpisania kontraktu. Elsie jednak odmówiła i wystąpiła u Macka Sennetta w niemym filmie "Barbary Sheep" z 1917 roku. Wkrótce zawarła umowę z Paramount Pictures opiewającą na 1000 dolarów za dzień na planie zdjęciowym. Bardzo szybko została nazwana "arystokratką niemego ekranu". Ten tytuł był jej nadany nie tylko ze względu na umiejętności aktorskie, ale też dlatego, że często zachowywała się arogancko na planie, a współpraca z nią układała się dość ciężko. W 1920 wyjechała w podróż po Europie, która zaowocowała zakupem domu we francuskiej Riwierze. Rok później podpisała kolejny kontrakt i wystąpiła m.in. w obrazie "Forever", w którym partnerował jej Wallace Reid. W 1925 postanowiła odpocząć od srebrnego ekranu i ponownie zaczęła grać na Broadwayu. W 1930 roku zadebiutowała w filmie dźwiękowym "Scarlet Pages" - była to jej ostatnia rola w kinie. Jej życie prywatne nie układało się zbyt szczęśliwie -wychodziła za mąż aż czterokrotnie, z tego trzy razy się rozwiodła. Na Broadwayu pojawiła się po raz ostatni w 1943 w wieku 60 lat, ale spotkała się z chłodnym przyjęciem. Zmarła w Conneticut (USA) 15 listopada 1961 roku.