Khalifah Utsman bin Affan merobohkan Masjid Nabawi di Madinah karena menilai bangunan masjid pertama yang didirikan Rasulullah Shallallahu Alaihi Wassalam itu belum pantas sebagai pusat pemerintahan yang mengeluarkan ketentuan bagi para petinggi di daerah-daerah yang tinggal di gedung mewah seperti Damsyik (Damaskus),Fustat, Kufah, dan Basrah.

Menurut Muhammad Husain Haekal dalam bukunya yang diterjemahkan Ali Audah berjudul "Usman bin Affan, Antara Kekhalifahan dengan Kerajaan" (Pustaka Litera AntarNusa, 1987), Masjid Nabawi menjadi pusat pemerintahan bagi Nabi SAW dan kedua khalifah penerusnya, Abu Bakar dan Umar bin Khattab. Jika diperlukan musyawarah dengan mayoritas kaum Muslimin, diserukan azan bahwa salat sudah siap, lalu Nabi SAW mengajak mereka bermusyawarah, dan cara ini diteruskan oleh kedua penggantinya serta Utsman.

Masjid Nabawi pada mulanya dibangun sangat sederhana dengan dinding dari bata jemur, langit-langit dari pelepah daun kurma, dan tiang-tiang dari batang pohon kurma. Selama enam tahun keadaan masjid tetap seperti itu, lalu Nabi SAW menambah luas masjid seratus meter persegi atau lebih tanpa mengubah bangunannya. Pada masa kekhalifahan Abu Bakar tak ada perubahan kecuali kedua dinding masjid yang rapuh dibangun kembali, sementara pada masa Umar bin Khattab masjid diperluas lagi dengan dinding dari batu dan bata jemur di bagian atasnya, tiang dari kayu, serta langit-langit dari pelepah daun kurma.