Според Стария завет, цар Давид завладява Йерусалим около 1000 г. пр. Хр.. Той обявява града за столица на своето царство и го превръща в истинско религиозно средище. Соломон - синът на Давид - е този, който според Библията, издига първия храм на Яхве (Йехова), бога на евреите. Така Йерусалим става център на юдейството.

Вавилонският цар Навохудоносор II завладява Йерусалим на два пъти: през 597 и през 586 г. пр. Хр. Така е записано в Библията. Той пленява цар Соломон и еврейските първенци и ги праща в изгнание, след което разрушава Соломоновия храм. През 539 г. пр. Хр. Вавилон е превзет от персийския владетел Кир II Велики. Той позволява на евреите да се завърнат в Йерусалим и да възстановят разрушения храм.

През 63 г. пр. Хр. Йерусалим преминава под римско владичество. През 66 г. сл. Хр. сред населението се формира съпротива, която довежда до Първата юдейско-римска война. Тя приключва четири години по-късно с победа на римляните и повторното разрушаване на йерусалимския храм. Римляните и византийците господстват близо 700 години над Палестина.

В хода на овладяването на Велика Сирия, ислямските армии достигат и до Палестина. През 637 година Йерусалим е обсаден и превзет по заповед на халиф Умар. В последвалата ера на мюсюлманско владичество управляват различни владетели, които често са били враждебно настроени помежду си. Градът редовно е бил обсаждан и многократно е сменял владетелите си.

През 11 век християнският свят се чувства застрашен от Селджукидите - мюсюлманската династия на селджукските владетели. Папа Урбан II призовава към кръстоносни походи. За 200 години европейците предприемат общо пет кръстоносни похода, за да завладеят Йерусалим. За кратки периоди те постигат известен успех, но през 1244 окончателно губят града, който отново преминава под мюсюлманско господство.

След завладяването на Египет и Арабия от османците през 1535 година, Йерусалим става административен център на един от османските санджаци. През първите години от турското господство в града се стига до значителен разцвет. След победата на британците над османските войски през 1917 година Палестина се оказва британско владение. Йерусалим пада без битка в ръцете на британците.

След Втората световна война британците се отказват от Палестина. ООН дава одобрението си за разделяне на страната, за да се създаде родина за оцелелите от Холокоста евреи. През 1948 година обаче няколко арабски държави обявяват война на Израел и завладяват част от Йерусалим. В резултат на Арабско-израелската война до 1967 градът е разделен между Израел (западна част) и Йордания (източна част).

През 1967 Израел води т.нар. Шестдневна война срещу Египет, Йордания и Сирия, в която завладява полуостров Синай, ивицата Газа, Западния бряг на река Йордан, Голанските възвишения и Източен Йерусалим. Израелците си проправят и достъп до старинната част на града, където е Стената на плача. Първоначално Източен Йерусалим не се смята за анексиран от Израел, а само за административно интегриран.

Оттогава насам Израел вече не ограничава достъпа на мюсюлманите до техните светини. Храмовият хълм се намира под автономно мюсюлманско управление – мюсюлманите имат право да го посещават за молитвите си, също както и наблизо разположената джамия Ал Акса.

И до днес Йерусалим си остава пречка за намирането на мирно решение в конфликта между Израел и Палестина. През 1980 Израел обявява града за своя "вечна и неделима столица". След като през 1988 Йордания се отказва от своите претенции към Западния бряг на река Йордан и Източен Йерусалим, е провъзгласено създаването на палестинска държава. Тя смята източната част на Йерусалим за своя столица.