المكان الذي يقوم عليه الجامع يُستخدم كمكان مقدس منذ أكثر من 3000 عام. فقد عبد الآراميون هنا إلههم حدد إله العاصفة، وبنى الرومان في المكان نفسه معبدًا كبيرًا لجوبيتر. وما زالت بقاياه تُرى اليوم: فالأعمدة الضخمة والبوابة في نهاية سوق الحميدية كانت جزءًا من حرم المعبد.

في العهد البيزنطي بُنيت في الموقع كنيسة مكرّسة ليوحنا المعمدان. وبعد دخول الإسلام في القرن السابع أمر الخليفة الوليد بن عبد الملك ببناء الجامع الحالي مكانها. وعمل في البناء حرفيون من أنحاء كثيرة من الدولة، وأصبح نموذجًا للمساجد اللاحقة في العالم الإسلامي كله.

وعلى مر القرون وُسّع الجامع وجُدّد عدة مرات، وآخرها بشكل شامل بعد حريق عام 1893. وبقي شكله الأساسي من العهد الأموي محفوظًا حتى اليوم.