KEsultanan Demak menjadi kerajaan Islam pertama di Pulau Jawa setelah jatuhnya Majapahit. Kerajaan ini muncul setelah kekuasaan Majapahit mulai mengalami kemunduran pada akhir abad ke-13.
Namun jauh sebelum Kerajaan Demak berdiri, agama Islam sudah tumbuh subur di Demak dan sekitarnya. Masjid Agung Demak yang berdiri indah ini dulunya merupakan sebuah masjid kecil.
Jauh sebelum masjid ini direnovasi, langgar sudah ada sejak tahun 1399. Saat itu Demak masih dalam kekuasaan Kerajaan Majapahit, dan candrasangkala lawang (koritrusgunaning – janmi).
Di daerah inilah syi’ar Islam menyebar. Berdirinya Kerajaan Demak mengangkat status Masjid Demak menjadi Masjid Agung. Perluasan struktur Masjid Agung Demak juga diceritakan dalam Kisah Kelenteng Sam Poo Kong, Semarang.
Bahwa pada tahun 1481 Gan Si Chang dan tukang kayu dari lokasi pembangunan di Semarang, membantu pemugaran Masjid Agung Demak.
Sebagaimana tertuang dalam buku “Pemulihan Sejarah Persada pada Nenek Moyang Majapahit”, dari sejarawan Prof. Slamet Muljana menceritakan bagaimana Masjid Agung Demak beberapa kali dipugar setelah dibangun dari sebuah bangunan, hingga menjadi masjid besar.
Pemugaran juga berarti memperbaiki tampilannya, sesuai dengan kemampuan umat Islam yang memanfaatkannya dan letak kota Demak. Keberadaan Masjid Agung Demak pada tahun 1477 dapat dianggap sebagai wujud pertama.
Tanggal 1477 juga dapat disebut sebagai awal pembangunan. Setiap masjid mempunyai mihrab, biasanya berupa lubang atau ruang kecil pada dinding di dinding barat, yang digunakan untuk melihat kiblat pada saat salat.
Kiblat saat salat menghadap Mekkah. Jadi kiblat merupakan bagian utama dalam pembangunan masjid. Semua jamaah di masjid menghadap kiblat.
Mihrab Masjid Agung Demak merupakan sebuah ruangan kecil yang berada di tengah dinding barat masjid, di sebelah kiri mimbar. Pada mihrabnya terdapat gambar kura-kura. Pada bagian tengah gambar penyu terdapat gambar yang mewakili arah kiblat baik utara, timur, selatan dan barat.
Posisi keempat kaki penyu berada tepat di antara gambar kiblat; jadi mewakili timur laut, tenggara, barat daya dan barat laut. Kepala penyu menghadap ke utara; yaitu bagian selatan.
Jadi gambar penyu tersebut dengan jelas menunjukkan arah kiblat sesuai dengan tujuan pembuatan mihrab tersebut. Gambar kura-kura pada hirab Masjid Agung juga dapat diartikan sebagai candrasangkala yang melambangkan tahun Jawa 1401 atau sama dengan tahun 1479 Masehi.
Judul: 1; tubuh penyu bulat: 0; empat kaki kura-kura: 4; dan ekor penyu : 1. Kange candrasangkala menandakan tanggal pembuatan mihrab. Namun seringkali dikaitkan dengan selesainya pembangunan Masjid Agung.