La dominazione musulmana di Gerusalemme inizia nel 636 d.C., quando il sultano Omar strappa la città al dominio persiano di Cosroe II.
Per i quattro secoli seguenti Gerusalemme diventa islamica ed è venerata come una delle quattro città sante dell'Islam, ricevendo l'appellativo di El Kuds, la Santa; secondo il Corano, infatti, Abramo, Davide, Salomone e lo stesso Gesù furono anch'essi grandi profeti.
L'importanza di Gerusalemme per i musulmani è legata alla tradizione che vuole sia avvenuta qui l'ascesa al cielo del profeta Maometto; proprio per ricordare l'evento il califfo Abd el Malik fece costruire nel 687 la Moschea di Omar (conosciuta anche come Cupola della Roccia) all'interno della quale è contenuta la sacra roccia.  La leggenda vuole che la roccia tentò di seguire il Profeta, ma venne fermata dall'angelo Gabriele, che vi lasciò l'impronta della mano.
Sotto alla roccia, pochi gradini portano al pozzo delle anime, una grotta che, secondo la tradizione musulmana, sarà il luogo di ritrovo nel giorno del giudizio.
Il basamento della Moschea è di forma ottagonale ed è rivestito nella parte inferiore da marmi policromi, mentre la parte superiore è ricoperta da piastrelle arabescate di maiolica azzurra fatte collocare da Solimano il Magnifico nel 1552 in sostituzione del precedente mosaico bizantino.
Accanto alla Moschea di Omar il califfo Walid I fece costruire, tra il 709 e il 715, la Moschea El Aqsa, il cui nome significa la più lontana perchè secondo la tradizione indicherebe il luogo più remoto in cui si sarebbe recato il Profeta.
La dominazione musulmana venne interrotta dalla conquista della Città Santa da parte dei crociati nel 1099 che si protrarrà fino al 1187, quando Gerusalemme venne riconquistata dal Saladino.
Ancora una breve parentesi di dominio cristiano si ebbe a partire dal 1229 con la V crociata, ma  nel 1244 i musulmani si impossessarono definitivamente di Gerusalemme e la città non tornò mai più in mani cristiane.
Ben presto, però, l'importanza e la centralità di Gerusalemme lasceranno il posto ad un inarrestabile declino.  Un dato significativo: a metà del XIX secolo la popolazione era ridotta a soli 11 mila abitanti.
Nel 1918, al termine della I guerra mondiale, l'impero turco si arrende agli anglo-americani e poco dopo inizia il mandato britannico sulla Palestina che durerà fino al 1947.