Згідно зі Старим Заповітом, близько 1000 року до нашої ери ізраїльський цар Давид захопив місто, яке доти населяли євусити. Відтак Давид переніс сюди власну резиденцію і зробив з Єрусалима релігійний центр свого царства. За Біблією, син та наступник Давида - цар Соломон - спорудив перший Храм для Ягве, Бога Ізраїлевого. Відтоді Єрусалим став центром юдаїзму.

Вавилонський цар Навуходоносор ІІ захоплював Єрусалим у 597 та 586 рр. до нашої ери. Першого разу вавилонський правитель взяв у полон царя Єгояхіма разом із юдейською елітою, військовими та ремісниками, а другого - вщент зруйнував місто й Храм. Після того, як Вавилон захопив перський цар Кір ІІ, юдеям дозволили повернутись на батьківщину та відбудувати Храм.

Починаючи з 63 року до н.е. Єрусалим перебуває під пануванням Рима. Місцеве населення протестує, що має наслідком Юдейську війну, розпочату у 66 році н.е. Чотири роки по тому війна завершується перемогою Рима і другим зруйнуванням Єрусалима та Храму римлянами. Епоха римського та візантійського панування в регіоні триває близько 700 років.

Арабські війська, що вдерлися на землі візантійців, увійшли і в Палестину. За наказом халіфа Омара загони арабів 637 року оточили та захопили Єрусалим. Це стало початком мусульманського панування, під час якого регіон потрапляв під контроль різних мусульманських правителів. Місто часто переживало облоги та переходило з рук в руки.

Християнський світ відчував дедалі більшу загрозу з боку турків-сельджуків, чиє правління розпочалося 1070 року. Тож Папа Урбан ІІ закликав до Хрестового походу. Впродовж майже 200 років європейці провели п'ять Хрестових походів саме з метою захопити Єрусалим. Іноді це вдавалося. Але 1244 року хрестоносці остаточно втратили контроль над містом, і воно знову перейшло під контроль мусульман.

Після завоювання у XVI столітті турками-османами Єгипту та Аравії Єрусалим став адміністративним центром османської провінції. Перші десятиліття османського пануння принесли місту значний економічний підйом. Після перемоги британців над турками 1917 року Палестина та Єрусалим перейшли під контроль Великобританії.

Після Другої світової війни британці відмовилися від мандата над Палестиною. ООН проголосувала за поділ територій таким чином, щоб дати батьківщину тим, хто вижив під час Голокосту. Одразу після цього деякі арабські країни оголосили Ізраїлю війну. До 1967 року місто було розділене на ізраїльську західну та йорданську східну частини.

1967 року Ізраїль перемагає у Шестиденній війні проти Єгипту, Йорданії та Сирії. Ізраїльські війська захопили Сінайський півострів, Сектор Гази, Західний берег річки Йордан, Голанські висоти та Східний Єрусалим. Вперше з 1949 року ізраїльтяни знову отримали доступ до Стіни плачу. Офіційно Східний Єрусалим спочатку не анексували, а лише адміністративно інтегрували.

Відтоді влада Ізраїлю не забороняла мусульманам відвідувати розташовані в цьому місті мусульманські святі місця, зокрема мечеть Аль-Акса - третьої за значенням святині ісламу. Храмова гора має автономну мусульманську адміністрацію. Мусульмани можуть заходити на Храмову гору та в мечеть Аль-Акса й молитися тут.

Єрусалим і досі вважається перешкодою на шляху до миру між Ізраїлем та Палестиною. 1980 року Ізраїль оголосив усе місто своєю "вічною та неподільною столицею". Після того, як 1988 року Йорданія відмовилася від своїх претензій на Західний берег річки Йордан та Східний Єрусалим, було проголошено Палестинську державу. І ця держава претендує на Східний Єрусалим як свою столицю, принаймні теоретичну.