Akcja serialu rozgrywa się w trudnych i burzliwych czasach zarówno dla Anglii, jak  i dla całego świata.Opowieść o Downton Abbey to historia ludzi żyjących we dworze należącym do państwa Grantham i ich córek. Domem kierują kamerdyner Garson i ochmistrzyni, pani Hughes, a sprawne działanie tego skomplikowanego mechanizmu zapewnia  liczna służba.
Lord Grantham (Hugh Bonneville) zabiega o  utrzymanie rodzinnego majątku i przekazanie go następnemu pokoleniu; wspomagają go w tym żona Cora (Elizabeth McGovern) i matka Violet (Maggie Smith). Na drodze do celu staje katastrofa Titanica, w której ginie jego przyszły zięć i spadkobierca. Szok po śmierci następcy potęguje fakt, że jedynym możliwym dziedzicem może zostać nikomu nieznany kuzyn Matthew (Dan Stevens), który wraz z matką Isobel Crawley (Penelope Wilton) przybywa do Downton Abbey...

Downton Abbey to brytyjska posiadłość, gdzie życie toczy się w ustalonym i stałym porządku. Właścicieli majątku - lorda Granthama (Hugh Bonneville) oraz jego żonę Corę  (Elizabeth McGovern), wraz z ich trzema córkami i oddaną, wierną służbą poznajemy w trudnym położeniu. Okazuje się, że w katastrofie Titanica zginął niedoszły mąż najstarszej córki Crawleyów - Mary (Michelle Dockery) i tym samym przyszły spadkobierca Downton Abbey. W takim wypadku posiadłość ma odziedziczyć nikomu nieznany kuzyn Matthew (Dan Stevens). Na domiar złego nad brytyjską arystokracją zbierają się burzowe chmury, a świat wchodzi w kolejny etap nieuniknionych przemian społecznych i gospodarczych, które stopniowo zaczynają dotykać wszystkich mieszkańców zamku.

Sezon 1:
Osadzony w Anglii, w latach poprzedzających I Wojnę Światową, serial "Downton Abbey" opowiada historię pewnej specyficznej i skomplikowanej społeczności. Zamek, w którym rozgrywa się akcja od pokoleń należy do rodziny Crawleyów, oprócz arystokracji mieszka tam służba, która z zazdrością spogląda na swoich pracodawców. Niektórzy są lojalni i w pełni oddani pracy w Downton, inni zaś są tu tylko tymczasowo i poszukują miłości, przygody lub możliwości na poprawę swojego statusu. To, co różni obie grupy, to fakt, iż służba zna jedne z najbardziej skrywanych sekretów rodziny, natomiast Państwo Crawley nie znają praktycznie żadnych tajemnic swoich pracowników. Pomimo namiętności, które pulsują pod powierzchnią arystokratycznej powściągliwości, życie w Downton jest bezpieczne, spokojne i poukładane, wydaje się, że takie pozostanie na zawsze. Ani rodzina, ani służba nie zdaje sobie jednak sprawy, że zbierają się ciemne chmury, a konflikt, który całkowicie zmieni ich dotychczasowe życie, wisi w powietrzu.

Sezon 2:
Jest rok 1916. Wojna znacząco wpływa na życie rodziny Crawleyów oraz jej służby. Wszyscy zostają postawieni przed nowymi wyzwaniami, które na zawsze odmienią ich życie. Jednak kiedy opadnie wojenny kurz, czy będą potrafili odnaleźć się w nowej rzeczywistości?

Sezon 3:
Akcja 3. sezonu rozpoczyna się w 1920 r., kiedy to Anglia odbudowuje się po I wojnie światowej. W tej serii widzowie ponownie spotkają się ze wszystkimi ulubionymi bohaterami w niezwykle okazałym otoczeniu Downton Abbey. Życie i miłości rodziny Crawleyów oraz służby dla niej pracującej upływa w atmosferze romansów, ambicji, chęci panowania i złamanych serc. Wraz z pojawieniem się nowych członków rodziny i coraz bardziej zagorzałej walki o pozycje wśród służby, bezpieczny, spokojny i uporządkowany świat Downton jest burzony przez namiętności, które targają mieszkańcami dworu. W obliczu niepewnej, powojennej rzeczywistości, kiedy fala niestabilności finansowej zalewa państwo, Crawleyowie muszą stoczyć walkę o swój ukochany dom.

Sezon 4:
Rozgrywająca się w 1922 roku, czwarta seria oznacza powrót ulubionych bohaterów w urokliwym otoczeniu Downton Abbey. Przed rodziną Crawleyów, jak też przed jej wierną służbą, pojawią się nowe wyzwania. Pół roku po tragicznej śmierci Matthew, jego strata ciągle jest odczuwalna. Mary stara się zmierzyć z nową sytuacją swego wpół osieroconego dziecka, a rodzina dzielnie ją w tym wspiera. Z związku z jej nową pozycją pani na włościach, Mary staje się obiektem zainteresowania licznych gorliwych acz niechcianych zalotników. Pełne zmian swingujące lata dwudzieste przetaczają się przez Downtown, co wzmaga tęsknotę Rose za lśniącym światłami Londynu. A to oznacza kłopoty dla Crawleyów, podobnie jak rozwijający się związek Edith z Gregsonem, zagrożony przez okoliczności zewnętrzne. Tymczasem pod schodami łatwo o wielkie namiętności i złamane młode serca.