Czy miał autyzm, nie wiem, ale na pewno nie miał łatwego życia. Był synem rolników, skończył 6 klas podstawówki, jego matka umarła gdy miał 11 lat, ojciec zmarł 7 lat później. Nigdy nie nauczył się dobrze języka francuskiego, tzn. mówił i czytał, ale zapisywał fonetycznie. W wieku 13 lat został uczniem piekarza. Po śmierci ojca przygarnął go wujek od strony matki, ale też szybko się go pozbył z domu. Jego pierwszy syn z pierwszą żoną zmarł, popadł w biedę, później i ona zmarła. Drugi syn w wieku 7 lat poszedł wtedy na wychowanie do swoich chrzestnych. Ożenił się ponownie, miał córkę Alice, która zmarła w wieku 15 lat, i dla której zbudował ów pałac, chociaż ciężko powiedzieć, bo ponoć chciał być w nim pochowany, ale prawo na to nie zezwalało, więc postawił sobie własne mauzoleum w podobnym stylu architektonicznym do swojego pałacu.

To czego nie pokazuje film, a czyni historię bardziej imponującą, to fakt, że druga żona w posagu wniosła dwuletnią pensję listonosza i niewielką posiadłość, za którą kupiono działkę w Hauterives, na której stoi pałac, ale w międzyczasie po śmierci córki, ale przed ukończeniem pałacu zaprojektował i postawił na tej samej działce obok pełnoprawny dom, który nazwał na cześć córki "Villa Alicius". Wcześniej mieszkał wraz z rodziną gdzie indziej, no ale to czyniło budowę jeszcze trudniejszą, dlatego zdecydował się wybudować pełnoprawny dom obok, by mieć pałac pod ręką.

W 1905 miał napisać: "Syn chłopa. Chcę żyć i umrzeć, aby udowodnić, że w mojej kategorii są też ludzie geniuszu i energii. Przez dwadzieścia dziewięć lat pozostawałem wiejskim listonoszem. Praca czyni moją chwałę i cześć moim jedynym szczęściem; oto moja dziwna historia. Gdzie marzenie stało się, czterdzieści lat później, rzeczywistością".

Dzisiaj niektórzy posądzają go o autyzm na podstawie szczątkowych informacji, ale biorąc pod uwagę jakie miał życie, równie dobrze mógł mieć depresję i kompleksy z powodu swojego pochodzenia i biedy, albo był osobą wysoko wrażliwą. Nie miał normalnego dzieciństwa i dużych możliwości, za to miał marzenia i chciał zrobić cokolwiek by poczuć się kimś, a śmierć tylu bliskich osób na pewno nie pomagała jego samopoczuciu, co też wpływało na kontakty z innymi. Może i jakieś odchyły od normy miał, bo i kto by ich nie miał w takich okolicznościach, ale dzisiaj jest to już nie do stwierdzenia ze 100% pewnością.

Swoją drogą, to gość z 6 klasami podstawówki bez doświadczenia zaprojektował i postawił w sumie 2 domy, w tym jeden w pełni wykończony jak na standardy końca XIX w., z pensji listonosza po godzinach mając w domu niepracującą zawodowo żonę (chyba, bo raczej zajmowała się tylko i aż domem) oraz dziecko. Nie pytał się nikogo specjalnie o zdanie, po prostu to zrobił na swojej ziemi i oba budynki stoją już ponad 100 lat. Dzisiaj mało kto na minimalnej krajowej może sobie na coś takiego pozwolić, szczególnie że nadzór budowlany też kilka kłód pod nogi rzucić potrafi.