Aktywne życie polityczne Johannes Rau rozpoczął w latach 50 w lokalnej partii, której polityczny profil zdominowany był przez etykę kościoła ewangelickiego, a główne ostrze politycznych polemik wymierzone było w#wczas przeciwko powstaniu armii niemieckiej - Bundeswehry. Partia dokonała samorozwiązania w roku 1957, a większość jej członków wstąpiła do SPD. W tej to partii Johannes Rau szybko awansuje. Od 1970 roku jest już członkiem lokalnego rządu w Nadrenii Północnej Westfalii. Kieruje resortem nauki i badań. To on forsuje powstawanie nowych uniwersytetów i przekształcenia strukturalne w Westfalii, która była kiedyś przede wszystkim zagłębiem węglowo – stalowym, a dziś jednym z najbardziej liczących się w Niemczech centrów naukowych.

Pod koniec lat 70 zostaje przewodniczącym SPD w Nadrenii Północnej Westfalii i szefem rządu. To z tego okresu pochodzi hasło „Jednać zamiast dzielić”, które stało się mottem życiowym i politycznym tego niesłychanie popularnego polityka. Hasło to było wyzwaniem dla wielu polityków, bo miało w sobiepotężny ładunek imperatywu etycznego.

Przez 20 lat pełnił funkcję premiera rządu w kraju związkowym Nadrenia – Północna Westfalia. To z jego inicjatywy doszło do podpisania umowy kooperacyjnej z województwem Śląskim. Współpraca obu regionów uchodzi dziś w relacjach niemiecko – polskich za najlepiej funkcjonującą. Za najważniejsze , najbardziej wymagające specjalnej troski uważał stosunki z Izraelem i Polską. Kiedy został prezydentem pojechał we wrześniu 1999 roku na uroczystości na Westerplatte. W lutym 2000 roku jako pierwszy prezydent Niemiec mógł przemawiać po niemiecku w Knesecie. Niektórzy posłowie parlamentu izraelskiego opuścili wtedy plenum na znak protestu. Wrócili na salę po słowach Johannesa Raua:

W obliczu narodu izraelskiego składam pokłon pełen pokory przed pomordowanymi, którzy nie mają swych grobów i proszę o wybaczenie za to , co zrobli Niemcy.

Johannes Rau umarł dziś rano po długiej i wyczerpującej chorobie. Miał 75 lat.