同鄰國法國不同的是，在德意志人生活的土地上，聯邦制有著很悠久的歷史。法國人很早就建都巴黎，並將巴黎建設成集權制度的核心。而在德國，大大小小的王侯則一直是各自屬地的真正統治者。

局部決定整體

德國在歷史上長期處於諸侯割據的狀態，有很多大大小小的王公貴族領地，稍後還出現了一些獨立城邦，他們擁有各自的司法，貨幣和關稅制度。在長達數百年的時間裡，統治德國的並不是中央政權，而是眾多大大小小的邦國。諸侯們同德國皇帝之間雖有契約確定附屬關係，但戰爭狀態下，諸侯們效忠皇帝的前提往往是為自己爭取更多更大的權力。隨著諸侯權力的不斷擴充，最終他們竟然可以像主權國家一樣開展外交活動。

德國的普魯士化

德意志諸邦中，普魯士無疑是最強大的，但即便是在普魯士於1871年建立德意志帝國之後，各邦仍可以通過聯邦參議院左右德國政治，而帝國議會則需要在重要議題上依賴參議院的支持。直到國家社會主義興起之後，德國的聯邦制傳統才首次被中斷。

重建帝國

1933年1月30日，納粹完成所謂"接管權力"之後，立即開始了削弱聯邦州權限的步驟。整整一年之後，1934年1月30日《帝國重建法》正式取消了各聯邦州迄今所擁有的權力。聯邦制下各州的自治被所謂的"地方執政官"所取代，地方執政官直接聽命於柏林的國家社會主義政府。就此柏林納粹當局開始獨攬大權，得以將自己的政治意願強加給聯邦州。

重建民主

二戰後戰勝國認為這種權力的高度集中，最終導致德國走向領袖式獨裁的道路。有鑑於此，經過一系列會議及磋商，戰勝國決定恢復被納粹剝奪的各聯邦州的權限。而因戰後德國版圖的變化，也因此出現了一些新的聯邦州。

德國東西部都出現了新的州

成立於1945年的梅克倫堡前波莫瑞州是梅克倫堡同前波莫瑞戰後仍屬於德國版圖的部分合並而成。而萊茵蘭法爾茨州則是1946年在萊茵省南部，萊茵黑森和拿紹南部以及萊茵法爾茨的基礎上成立的。薩克森-安哈特州是在馬格德堡和哈勒-梅澤堡等省的版圖上成立的。北萊茵威斯特法倫州則是在普魯士威斯特法倫省，萊茵省北部地區以及自由城邦利普的地界上成立的。

民主德國境內各州

1945年，根據蘇聯軍管當局的指令，德國東部也劃定了一些新的州，但1952年7月23日這些新州事實上又被取消了。按照《建設社會主義行政規劃》的精神，州的權限被下放給了縣區政府。在此，聯邦制不得不向統一社會黨的中央集權低頭。九十年代初，民主德國首次通過民主選舉產生的人民議會就通過了恢復原有州建制的法案，就此，東德也建立起了西德式的聯邦制。

現實中的聯邦制

二戰的慘痛教訓使得德國必須避免再次出現中央集權的政治模式。因此，制定基本法時的一個重點就是如何保障各聯邦州的權力不被削弱。與此同時，還必須通過加強各聯邦州的立法權，以制約中央政府的權限。鑑於在聯邦和各州層面上各種政治勢力的權力格局並不相同，因此這種相互制衡的政治機制在今天已經得到了事實上的保障。

變革的嘗試

不過，對聯邦制的質疑從來沒有平息過，最初的設計錯誤至今仍會給聯邦制帶來難題。鑑於各聯邦州的規模和經濟實力相差甚遠，因此經濟實力強的聯邦州向較小聯邦州提供補貼資助將是一個長期存在的現象。因此，五十年代盟軍就曾提請聯邦政府重新劃分聯邦州邊界，以減少地區差異。重新劃分州界的嘗試每次都以失敗告終。最後一次是1996年柏林同布蘭登堡州合並的計劃就因全民公投未獲通過而不了了之。

1970年代以來，還曾有過多次重新劃分聯邦政府與各聯邦州權限的嘗試，但修憲委員會和兩德統一後聯邦參議院和聯邦議院共同組成的憲法委員會都無法就有關提案達成共識。

聯邦制改革

但對聯邦制進行改革的呼聲卻有增無減，因為在一些特定的政黨組合下，政府將幾乎無法行使職責。有鑑於此，聯盟黨和社民黨於2006年通過了一項改革計劃。按照這一計劃，一方面聯邦州的權責範圍被減少，但另一方面，各州的發言權仍然得到保障。比如在教育政策方面聯邦州具有完全的決策權。此外，在公務員法、監獄以及環境保護法等領域，各州獲得了更多的職權或現有職權得以保留。不過，就總體而言，聯邦州擁有否決權的法律從50項減少到了33項。

儘管德國的聯邦制招致很多批評，但它已成為德國政治生態一個不可或缺的組成部分。一方面聯邦制下的各聯邦州州長會像中世紀的貴族一樣捍衛本州的獨立性，另一方面，聯邦制也逐漸產生了巨大的凝聚力，否則，二戰後湧入的數千萬難民以及兩德統一所帶來的經濟負擔都不可能在那麼短的時間內得到化解。