منذ أن قام سيدنا إبراهيم عليه السلام ببناء الكعبة المشرفة وهي قائمة في موضعها، أما المسجد الحرام حول الكعبة فقد كان أول من قام ببنائه هو الخليفة عمر بن الخطاب رضي الله عنه؛ حيث جاء في عهد خلافته أنه أمر بشراء وهدم البيوت التي كانت حول الكعبة وقريبة منها، ثم جعل للكعبة فناء وجعل له سوراً يحيط به، ثم إن الخليفة عثمان بن عفان رضي الله عنه أكمل ما بدأه عمر.
