Według Starego Testamentu zamieszkana przez Jebusytów Jerozolima została najprawdopodobniej pod koniec XI w. p.n.e. zdobyta przez króla Dawida. Przeniósł do niej z Hebronu stolicę Izraela. Sprowadził tam także Arkę Przymierza. Syn Dawida król Salomon w X p.n.e. wieku zbudował pierwszą świątynię. Miasto stało się centrum religijnym, politycznym, gospodarczym oraz militarnym państwa Izrael.

Władca Babilonii Nabuchodonozor II w 597 r. p.n.e. podbił Jerozolimę, wtedy stolicę królestwa Judy. Król Jojakin wraz z częścią poddanych został przesiedlony do Babilonu. Władzę objął Sedecjasz. Po tym jak król Persji Cyrus II Wielki podbił w 538 r. p.n.e. Babilon, zezwolił Żydom na powrót z niewoli babilońskiej i odbudowę Jerozolimy.

W 63 r. Jerozolima znalazła się pod zwierzchnictwem Rzymu. W 66 r. doszło do pierwszej wojny żydowsko-rzymskiej, która zakończyła się po czterech latach zwycięstwem Rzymian. Wojska rzymskie zniszczyły też znaczną część świątyni jerozolimskiej. Protektorat Rzymu i rządy Bizancjum trwały w Palestynie przez 600 lat.

W 638 Jerozolima została zdobyta przez Arabów. Kalif Umar ibn al-Chattab podpisał traktat z chrześcijańskim patriarchą Sofroniuszem gwarantując ochronę wszystkich chrześcijańskich miejsc oraz ludności w Jerozolimie zgodnie z muzułmańskimi zasadami wiary. Jerozolima w czasach wpływów muzułmańskich była wielokrotnie okupowana i zmieniała władców.

Chrześcijański świat czuł się coraz bardziej zagrożony przez muzułmanów, rządzących od 1070 r. w Jerozolimie. Hasło do walki z islamem podał papież Urban II. Na przestrzeni 200 lat Europejczycy podjęli siedem wielkich krucjat, by odbić Jerozolimę. Udało się to już podczas I wyprawy krzyżowej (1096-99). W 1244 r. trwający dwa wieki konflikt religijny zakończył się zwycięstwem muzułmanów.

Powstałe na przełomie XII i XIV wieku Imperium Osmańskie podbiło w 1517 roku Syrię, Palestynę i Egipt. W 1535 Jerozolima znalazła się pod administracją osmańską. Pierwsze dziesięciolecia rządów są przychylne miastu, które przeżywa rozkwit. Wraz ze zwycięstwem Brytyjczyków nad Turkami w 1917 roku Palestyna i Jeruzalem znalazła się pod brytyjskim protektoratem.

Po II wojnie światowej Brytyjczycy rezygnują z międzynarodowego mandatu w Palestynie. 29 listopada 1947 r. ONZ przyjmuje rezolucję ws. podziału Palestyny na państwo żydowskie i państwo arabskie. Zaraz po przyjęciu tej decyzji rozpoczyna się wojna izraelsko-arabska (1948-1949). Do 1967 roku Palestyna jest podzielona na Państwo Izrael, Zachodni Brzeg i Strefę Gazy.

Wojna sześciodniowa Izraela przeciwko Egiptowi, Syrii i Jordanii w 1967 r. okazała się taktycznym i strategicznym sukcesem. Izrael zajął Płw. Synaj, Wzgórza Golan, Strefę Gazy i Jerozolimę. Po raz pierwszy od 1949 r. Żydzi otrzymali także dostęp do Ściany Płaczu.

Izrael nie zabrania muzułmanom dostępu do najważniejszych budowli muzułmańskich Jerozolimy: świątyni Kopuły na Skale oraz meczetu Al-Aksa, które obok Mekki i Medyny są trzecim świętym miejscem islamu. Kopuła na Skale podlega islamskiej administracji. Jerozolima jest świętym miastem trzech religii: judaizmu, chrześcijaństwa i islamu.

Jerozolima jest przeszkodą w zawarciu pokoju między Izraelem i Palestyną. W 1980 r. Izrael dokonał aneksji wschodniej, palestyńskiej części Jerozolimy i ogłosił ją "wieczną i niepodzielną" stolicą. Po rezygnacji Jordanii z roszczeń wobec Zachodniego Brzegu i Strefy Gazy w 1988 r. powstała Autonomia Palestyńska, która ogłosiła wschodnią część Jerozolimy swoją stolicą.