Piagam Madinah, yang oleh banyak pakar politik dinyatakan sebagai konstitusi negara Islam yang pertama itu, tidak menyebut agama negara. Jadi Islam bukan agama negara, dan nonmuslim bebas menjalankan agama masing-masing.
Syahdan, 13 tahun Nabi Muhammad s.a.w. menyeru penduduk Mekkah untuk mengikuti agama yang dibawanya. Tetapi sebegitu jauh hasilnya tidak menggembirakan. Hanya sedikit yang bersedia masuk Islam, dan itu pun umumnya dari kalangan rendahan. Para pembesar seperti Abu Jahal dan Abu Sufyan tidak hanya menolak, tetapi sangat memusuhi dan bahkan berusaha melenyapkannya. Kesulitan Nabi kian bertambah karena istrinya Khadijah, yang menjadi penyokong utama ekonomi keluarga dan pengikutnya, wafat. Menyusul kemudian pamannya Abu Thalib, pelindung setia Nabi walaupun tidak masuk Islam sampai akhir hayatnya.
Dalam situasi yang serba susah itu, Nabi ditemui beberapa orang Yatsrib yang datang ke Mekkah untuk menghadiri festival Ukaz. Rupanya mereka terkesan dengan perkataan Nabi pada perayaan tahunan itu. Dua tahun kemudian, sekitar tahun 622, datang delegasi sekitar 75 orang yang mengundangnya untuk tinggal di Yatsrib. Mereka berharap Nabi bisa mendamaikan suku Aus dan Khazraj yang selalu bermusuhan. Yathrib yang kemudian namanya diubah oleh Nabi Muhammad s.a.w. menjadi Madinah terletak sekitar 510 kilometer sebelah utara Mekkah. Kota ini lebih strategis ketimbang Mekkah karena berada di “jalur rempah-rempah” yang menghubungkan Yaman dan Suriah. Tanahnya subur untuk ditanami pohon kurma. Nabi tiba di Yatsrib bersama sahabatnya Abu Bakr pada 24 September 622, mengikuti 200 rombongan yang telah tiba sebelumnya. Peristiwa ini disebut hijrah yang menjadi titik balik kehidupan Nabi dan kaum Muslimin. Khalifah Umar ibn Khattab, 17 tahun kemudian, menetapkan peristiwa ini sebagai awal tahun Islam.
Adalah warga Yahudi (Bani Nadhirdan Bani Quraidzah) yang membuat kota ini menjadi pusat pertanian terkemuka. Mereka adalah suku Arab keturunan Aramik yang telah menganut agama Yahudi. Meski begitu, intinya mereka adalah Bani Israil alias orang Israel yang lari dari Palestina saat ditaklukkan Romawi pada permulaan tahun Masehi. Sedangkan Aus dan Khazraj merupakan dua suku non-Yahudi yang berasal dari Yaman. Anehnya, yang mendorong para penyembah berhala untuk mengakui Muhammad sebagai Nabi adalah warga Yahudi tadi. Selain merupakan orang-orang yang mapan secara ekonomi karena menguasai perkebunan, orang-orang Yahudi ini lebih terpelajar karena menguasai Kitab. Dan bersama orang-orang Nasrani yang juga mayoritas pendatang di Madinah mereka, sebagaimana disebut Alquran, sebagai ahli kitab. Karena itu mereka (Yahudi dan Nasrani) sebelum kedatangan Nabi menempati lapisan atas dalam strata sosial Kota Madinah. Sedangkan Arab Yaman yang penyembah berhala tadi (sebagian kecilnya menganut sisa-sisa agama Nabi Ibrahim) berada di lapisan bawah. Struktur sosial ini kemudian terjungkal karena golongan rendahan yang menjadi pengikut Nabi tadi “menyodok ke atas”.
Di Madinah Nabi tidak hanya mengembangkan missi kerasulannya yang dulu tersendat di Mekkah, tetapi juga muncul sebagai seorang pemimpin yang disegani. Di kota ini Muhammad bukan hanya sosok Nabi bagi umatnya, melainkan juga menjelma menjadi sosok negarawan bagi umat-umat lainnya. Di sini Nabi berhasil membangun komunitas muslim, dengan mempersatukan berbagai suku Arab yang sebelumnya saling bertikai. Komunitas muslim Madinah ini terdiri atas kaum Muhajirin (yang berhijrah dari Mekkah) dan kaum Anshar yaitu penduduk Madinah yang telah memeluk Islam. Namun demikian, kaum muslim bukanlah satu-satunya komunitas di Madinah. Sebagaimana telah disinggung di kota ini juga terdapat komunitas –komunitas lain, yaitu orang-orang Yahudi, dan para penyembah berhala yang menolak masuk Islam. Dengan kata lain, masyarakat yang tinggal do Kota Madinah bersifat majemuk. Oleh karena itu, mula-mula Negara Kota yang dibangun oleh Nabi bersifat bhineka pula. Dan untuk kepentingan ini disusunlah butir-butir kesepakatan yang disebut Piagam Madinah. Piagam ini disusun hanya setelah kurang dari dua tahun Nabi Muhammad menetap di Madinah.
Seperti dikemukakan Munawir Sjadzali dalam bukunya Islam dan Tata Negara (2008), batu-batu dasar yang diletakkan oleh Piagam Madinah yang memuat 47 butir kesepakatan itu merupakan landasan bagi kehidupan bernegara yang majemuk yang dibangun oleh Nabi di Madinah. Dua alasan pokok yang dia kemukakan, Pertama semua pemeluk islam meskipun dari banyak suku merupakan satu komunitas. Kedua, hubungan antarsesama komunitas Islam, dan hubungan komunitas Islam dengan komunitas-komunitas lain di dasarkan pada prinsip-prinsip bertetangga baik, saling membantu dalam menghadapi musuh bersama, membantu mereka yang teraniaya, saling menghormati, dan menghormati kebebasan beragama. Menurut eks-menteri agama ini, “Satu hal yang patut dicatat bahwa Piagam Madinah, yang oleh banyak pakar politik dinyatakan sebagai konstitusi negara Islam yang pertama itu, tidak menyebut agama negara.” Dengan kata lain, Islam bukanlah agama negara, dan komunitas agama-agama lain memiliki kebebasan untuk menjalankan syariat agama masing-masing. Jadi, apakah dengan begitu bahwa mula-mula negara yang hendak didirikan oleh Nabi Muhammad di Madinah bukanlah negara Islam?
Pengalaman Nabi membangun negara yang majemuk harus kandas di tengah jalan. Sebab utamanya adalah karena ada pihak-pihak yang telah menyepakati Piagam Madinah kemudian melakukan pengkhianatan. Seperti banyak diceritakan buku-buku sejarah Islam, pada tahun 627, terbentuk sebuah persekutuan yang terdiri atas orang-oran Mekkah dan tentara bayaran dari suku-suku Badui dan Abissinia, yang akan kembali memerangi orang-orang Madinah. Menghadapi gelombang musuh yang sangat besar itu, atas usulan Salman, seorang muslim asal Persia (karena itu dibelakang namanya Al-Farisi), Nabi memerintahkan pasukannya untuk menggali parit (khandaq) sekeliling Madinah. Taktik perang semacam ini bikin kaget pasukan musuh, hingga akhirnya mereka bergerak mundur setelah jatuh 20 korban jiwa dari kedua belah pihak.
Setelah pengepungan berakhir, Nabi kemudian menyerang orang-orang Yahudi karena bersekongkol dengan para penyerang. Sekitar 600 orang terbunuh dari suku utama Yahudi yaitu Bani Quraidzah. Sisanya kemudian diusir dari Madinah. Bekas perkampungan dan kebun-kebun korma mereka kemudian ditempati kaum Muhajirin. Tetapi ini bukan tindakan pertama kepada kaum Yahudi. Sebelumnya Nabi juga mengusir Bani Nadhir dari Madinah karena laku khianat mereka. Sementara itu orang-orang Yahudi Khaibar, sebuah oasis yang dikelilingi benteng di sebelah utara Madinah, juga menyerah dan bersedia membayar upeti (jizyah).
Hengkangnya komunitas-komunitas utama nonmuslim dari Madinah, tidak pelak lagi telah mengantarkan kota ini tidak lagi bersifat majemuk. Dari komunitas keagamaan yang kini praktis hanya berbasis pada kaum muhajirin dan Anshar, Nabi berhasil mengembangkan sebuah negara Islam yang lebih besar. Beberapa daerah yang berhasil ditaklukan tanpa melalui pertempuran dibuat perjanjian damai dengan kepala-kepala suku Kristen dan Yahudi. Mereka diberi perlindungan oleh umat Islam dan bersedia memberikan bayaran yang disebut jizyah itu. Kebijakan ini kemudian dijadikan contoh oleh para khalifah dalam membuat kebijakan-kebijakan terhadap nonmuslim.
