Segundo o Velho Testamento, no ano 1000 a.C., Davi, rei de Judá e Israel, conquistou Jerusalém dos jebuseus, uma tribo cananeia. Ele mudou a sede de seu governo para Jerusalém, que se tornou capital e centro religioso do reino. De acordo com a Bíblia, Salomão, o filho de Davi, construiu o primeiro templo para Yaweh, o deus de Israel. Jerusalém tornou-se assim o centro do Judaísmo.

O rei Nabucodonosor 2º, da Babilônia, conquistou Jerusalém em 597 e novamente em 586 a.C., segundo a Bíblia. Ele destruiu o templo e aprisionou o rei Joaquim de Judá e a elite judaica, levando-os para a Babilônia. Quando o rei persa Ciro, o Grande, conquistou a Babilônia, permitiu que os judeus voltassem do exílio para Jerusalém e reconstruíssem o templo.

A partir de 63 d.C., Jerusalém passou ao domínio de Roma. A resistência se formou rapidamente entre a população, eclodindo uma guerra no ano 66. O conflito terminou quatro anos depois, com a vitória dos romanos e uma nova destruição do templo em Jerusalém. Os romanos e os bizantinos dominaram a Palestina por 600 anos.

Durante a conquista da Grande Síria, as tropas islâmicas chegaram até a Palestina. Por ordem do califa Umar, em 637, Jerusalém foi sitiada e conquistada. Durante a época da supremacia muçulmana, vários rivais se revezaram no domínio da região. Jerusalém foi ocupada várias vezes e trocou diversas vezes de soberano.

O mundo cristão passou a se sentir cada vez mais ameaçado pelos muçulmanos seljúcidas, que governavam Jerusalém desde 1070. Em consequência, o papa Urbano 2º convocou as Cruzadas. Ao longo de 200 anos, os europeus conduziram cinco Cruzadas para conquistar Jerusalém, algumas vezes com êxito. Por fim, em 1244, os cristãos perderam de vez a cidade, que caiu novamente sob domínio muçulmano.

Após a conquista do Egito e da Arábia pelos otomanos, em 1535, Jerusalém se tornou sede de um distrito governamental otomano. As primeiras décadas de domínio turco representaram impulsos significativos para a cidade. Com a vitória dos britânicos sobre as tropas turcas em 1917, a região – e também Jerusalém – passou ao domínio britânico.

Após a Segunda Guerra Mundial, os britânicos renunciaram ao mandato sobre a região. A ONU aprovou a divisão da área, a fim de abrigar os sobreviventes do Holocausto. Isso levou alguns países árabes a iniciarem uma guerra contra Israel, em que conquistaram parte de Jerusalém. Até 1967, a cidade esteve dividida em lado israelense e lado jordaniano.

Em 1967, na Guerra dos Seis Dias contra Egito, Jordânia e Síria, Israel conquistou o Sinai, a Faixa de Gaza, a Cisjordânia, as Colinas de Golã e Jerusalém Oriental. Paraquedistas israelenses chegaram ao centro histórico e, pela primeira vez desde 1949, ao Muro das Lamentações, local sagrado para os judeus. Jerusalém Oriental não foi anexada a Israel, apenas integrada de forma administrativa.

Desde esta época, Israel não impede os peregrinos muçulmanos de entrarem no terceiro principal santuário islâmico do mundo. O Monte do Templo está subordinado a uma administração muçulmana autônoma. Muçulmanos podem tanto visitar como também rezar no Domo da Rocha e na mesquita de Al-Aqsa, que fica ao lado.

Até hoje, Jerusalém continua sendo um obstáculo no processo de paz entre Israel e os palestinos. Em 1980, Israel declarou a cidade inteira como "capital eterna e indivisível". Depois que a Jordânia desistiu de reivindicar para si a Cisjordânia e Jerusalém Oriental, em 1988, foi conclamado um Estado palestino, com o leste de Jerusalém como sua capital.