El lugar donde se alza la mezquita se usa como santuario desde hace más de 3.000 años. Los arameos veneraban aquí a su dios de la Tormenta, Hadad, y los romanos construyeron en el mismo sitio un gran templo de Júpiter. Todavía hoy ves restos de él: las imponentes columnas y la puerta al final del zoco al-Hamidiyah formaban parte del recinto del templo.

En época bizantina se construyó en el terreno una iglesia dedicada a Juan el Bautista. Tras la llegada del islam en el siglo VII, el califa al-Walid I mandó construir en su lugar la mezquita actual. En la obra trabajaron artesanos de muchas partes del Imperio, y se convirtió en modelo para mezquitas posteriores en todo el mundo islámico.

A lo largo de los siglos, la mezquita se amplió y renovó varias veces, la última a fondo tras un incendio en 1893. Su forma básica de la época omeya se ha conservado hasta hoy.