Jest absolwentem Wydziału Prawa poznańskiego Uniwersytetu im. Adama Mickiewicza (na którym to uzyskał również stopień doktora nauk prawnych) z 1966 roku.
W okresie od 3 marca 1995 roku do 19 października 1997 roku pełnił funkcję Marszałka Sejmu Rzeczypospolitej Polskiej.
15 lutego 2006 słuchacze Programu III Polskiego Radia przyznali Józefowi Zychowi nagrodę "Srebrne Usta 2005".