Jest absolwentem Wydziału Prawa poznańskiego Uniwersytetu im. Adama Mickiewicza (na którym to uzyskał również stopień doktora nauk prawnych) z 1966 roku.

W okresie od 3 marca 1995 roku do 19 października 1997 roku pełnił funkcję Marszałka Sejmu Rzeczypospolitej Polskiej.

15 lutego 2006 słuchacze Programu III Polskiego Radia przyznali Józefowi Zychowi nagrodę "Srebrne Usta 2005".

W 1961 r. został skazany na karę 8 miesięcy pozbawienia wolności za "niedopełnienie obowiązków służbowych" w czasie obozu harcerskiego koło Krosna Odrzańskiego.

W 2009 roku odznaczony został przez Prezydenta RFN Wielkim Krzyżem Zasługi Orderu Zasługi Republiki Federalnej Niemiec za zbliżenia między Polakami i Niemcami.

Został uhonorowany przez prezydenta Francji Jacques Chirac'a Orderem Wielkiego Oficera (Grand Officier) Legii Honorowej.