آن گونه که در عهد عتیق روایت شده، داود، پادشاه قوم بنی‌اسرائیل اورشلیم را حدود یکهزار سال پیش از میلاد مسیح از دست یبوسیان (تیره‌ای از کنعانیان) آزاد ساخت. او اورشلیم را به مرکز حکمرانی و کانون دینی قلمرو خود بدل کرد. طبق روایت انجیل سلیمان، فرزند او، تلاش‌های پدرش در راستای گسترش اورشلیم را ادامه داد و معبد مقدس یا هیکل سلیمان را که به معبد اول معروف است، در این شهر بنا کرد.

نبوکد نصر دوم (بخت نصر)، پادشاه بابل در سال‌های ۵۹۷ و ۵۸۶ پیش از میلاد اورشلیم را تسخیر کرد و دست به نابودی معبد "هیکل سلیمان" در این شهر زد. او پس از فتح اورشلیم همچنین دستور حبس یهودیان را داد و بسیاری از آنان را آواره کرد. کوروش کبیر، پادشاه هخامنشی، پس از آنکه بابل را به تصرف خود درآورد به یهودیان اجازه داد که به بیت‌المقدس بازگردند، معبد اول را بازسازی کنند و همچنین کنیسه بسازند.

اورشلیم از سال ۶۳ پس از میلاد مسیح تحت سلطه روم باستان بود. یهودیان در این دوران دست به مقاومت در برابر امپراتوری روم زدند. در سال ۶۶ میلادی بود که جنگ بین یهودیان و رومیان آغاز شد. این جنگ که چهار سال طول کشید، با پیروزی رومیان و نابودی دوباره معابد اورشلیم پایان یافت. حکومت‌های روم و بیزانس در مجموع حدود شش قرن بر اورشلیم حکم راندند.

اعراب در جریان گسترش دین اسلام موفق به فتح اورشلیم شدند. به دستور عمر، خلیفه مسلمانان بود که اورشلیم در سال ۶۳۷ میلادی محاصره و در نهایت تسخیر شد. در دوران سلطه مسلمانان بر اورشلیم جنگ قدرت میان حکمرانان حاکم بود و چهره‌های گوناگونی که با هم دشمنی داشتند، زمام امور در این شهر را به دست گرفتند.

گسترش سلطه و قلمرو سلجوقیان از سال ۱۰۷۰ میلادی به بعد نگرانی پادشاهان قلمروهای مسیحی را برانگیخت و سبب شد که پاپ اوربان دوم، مسیحیان را به جنگ صلیبی فراخواند. مسیحیان در طی ۲۰۰ سال دست به پنج جنگ صلیبی زدند تا اورشلیم را فتح کنند. تلاش‌های آنان گاه نتیجه‌بخش بود، اما در سال ۱۲۴۴ میلادی مسلمانان بار دیگر توانستند این شهر مقدس را به تصرف خود درآورند و بر آن حکم برانند.

عثمانیان پس از فتح عربستان و مصر اورشلیم را در سال ۱۵۳۵ میلادی به یکی از مراکز دستگاه اداری خود بدل کردند. این شهر در نخستین دهه پس از تصرف عثمانیان شاهد شکوفایی و رونقی اقتصادی بود. در سال ۱۹۱۷ و در پی فروپاشی امپراتوری عثمانی، قلمرو فلسطین و به این ترتیب اورشلیم تحت کنترل بریتانیا قرار گرفت.

بریتانیا پس از پایان جنگ جهانی دوم به حکمرانی خود بر فلسطین پایان داد. سازمان ملل متحد به تقسیم فلسطین رأی مثبت داد تا بازماندگان هولوکاست وطنی جدید بیابند. شماری از کشورهای عربی در پی این تصمیم علیه اسرائیل وارد جنگ شدند و بخشی از اورشلیم را به تصرف خود درآورند. تا سال ۱۹۶۷ اورشلیم به بخش غربی (اسرائیلی) و بخش شرقی (اردنی) تقسیم شده بود.

اسرائیل در سال ۱۹۶۷ و در جریان جنگ شش روزه علیه مصر، اردن و سوریه موفق شد شبه‌جزیره سینا، نوار غزه، کرانه باختری رود اردن، بلندی‌های جولان و اورشلیم شرقی را به تصرف خود درآورد. چتربازان اسرائیلی توانستد به بخش قدیمی اورشلیم رخنه کنند و برای نخستین بار از سال ۱۹۴۹ به این سو جلوی دیوار ندبه بایستند. اسرائیل به این ترتیب اداره بخش شرقی اورشلیم را برعهده گرفت.

اسرائیل از آن زمان به مسلمانان اجازه داده که به کوه زیتون، واقع در بخش شرقی اورشلیم برای زیارت بروند و از مسجد الاقصی بازدید و در آنجا عبادت کنند. مجموعه مسجد الاقصی اکنون در منطقه‌ای قرار دارد که اداره آن را مسلمانان عهده‌دار هستند و زیر نظر مفتی اورشلیم اداره می‌شود. مسجدالاقصی سومین زیارتگاه مهم مسلمانان پس از مسجدالحرام و مسجدالنبی در مکه و مدینه ‌است.

اورشلیم تا به امروز یکی از موانع میان اسرائیل و فلسطین در راه رسیدن به صلح است. اسرائیل در سال ۱۹۸۰ اعلام کرد که اورشلیم "پایتخت ابدی و تقسیم‌ناپذیر" این کشوراست. پس از آنکه اردن در سال ۱۹۸۸ از حق مالکیت کرانه باختری و اورشلیم شرقی چشم پوشید، دولت فلسطین اعلام موجودیت کرد و بخش شرقی اورشلیم را پایتخت خود دانست. وضعیت حقوقی اورشلیم یکی از مهمترین موضوعات در مناقشه اسرائیل و فلسطینیان محسوب می‌شود.