Il primo nucleo abitato di Gerusalemme sorse sulla collina a sud della spianata del tempio ed era abitato da una tribù cananea detta dei Gebusiani.
Nel 1000 a.C. Davide conquistò la città e acquistò dal re gebuseo Arauna un terreno sul monte Moria dove costruì un altare al Signore, trasferendo qui da Hebron l'Arca dell'Alleanza.
Nello stesso luogo Salomone edificò (nel 950 a.C.) il primo Tempio.
Con la divisione del regno alla morte di Salomone, Gerusalemme divenne la capitale del regno di Giuda.
Nel 701 a.C. fallì il tentativo dell'imperatore assiro Sennacherib di conquistare la città, ma ormai si preparavano per Gerusalemme i giorni del pianto: nel 587 a.C. venne saccheggiata dal re babilonese Nabucodonosor, che distrusse il Tempio e deportò a Babilonia migliaia di ebrei.
L'esilio durò quasi cinquant'anni, fino all'ascesa al potere di Ciro il Grande, che consentì agli esiliati di ritornare in patria.  Un secolo dopo, al tempo del profeta Nehemia e di Ezra lo Scriba, venne intrapresa la ricostruzione del Tempio e delle mura di Gerusalemme, lavori portati a termine in un tempo record.
Nel 333 a.C., con l'avvento di Alessandro Magno, iniziò la ellenizzazione del paese, culminata con la rivolta dei Maccabei ad Antioco IV Epifane, che aveva dichiarato la sua natura divina e ordinato agli ebrei sacrifici in suo onore.  Cacciati i greci (164 a.C.) ci fu un breve periodo di governo dei re della dinastia asmonea, ma nel 63 a.C. giunse a Gerusalemme con le sue legioni Pompeo ed iniziò la dominazione romana. In questo periodo, sotto Erode il Grande nominato re dal Senato di Roma nel 37 a.C., la città santa conobbe una nuova epoca di splendore, caratterizzata dalla ricostruzione del Tempio e dall'edificazione di notevoli edifici monumentali.
Alla morte di Erode (4 a.C.) il regno venne diviso fra i suoi tre figli, e sotto la reggenza di uno di essi (Erode Antipa) Gesù venne crocifisso.
Nel 70 d.C. l'imperatore Tito, per ritorsione alle sempre più frequenti ribellioni degli ebrei, ordinò la distruzione del Tempio di Erode; la distruzione divenne ancora più radicale sessant'anni dopo, quando Adriano rase completamente al suolo Gerusalemme.
La maggior parte degli ebrei fu costretta ad abbandonare il paese, dando così inizio alla Diaspora del popolo ebreo nel mondo intero.
Il ritorno degli ebrei nella città santa inizierà solo nel XIX secolo, con la nascita del movimento Sionista.  Il resto è storia recente e ancora drammaticamente alla ribalta della cronaca.
Indispensabile ricordare la battaglia del giugno 1967, che portò alla conquista armata e all'unificazione della città sotto il controllo ebreo: le mura che dividevano il settore ebraico da quello occupato dai giordani vennero abbattute.  La gioia della riunificazione lasciò ben presto il posto all'amara scoperta che i giordani avevano devastato i luoghi sacri, fatto saltare le 27 sinagoghe e distrutto numerose scuole di Talmud: solo il muro (il Muro del Pianto) era scampato a quella distruzione, diventando così il simbolo della conclusione del lungo esilio.