Maksud tersebut untuk menyebarkan ajaran agama Islam di Tanah Mataram serta mengingat masyarakat sekitar masih menganut kepercayaan animisme dan dinamisme.
Pada masa itu masyarakat masih sangat sulit menerima ajaran agama Islam dan Sunan Kalijaga akhirnya melakukan pendekatan budaya.
Seiring berjalan waktu, cara tersebut berhasil dan Masjid Gedhe Mataram mulai mengalami perkembangan.
Pada tahun 1611 di era Sultan Agung, dilanjutkan dengan membangun serambi dan halaman masjid.
Masjid Gedhe Mataram berada satu komplek dengan pemakaman besar yang merupakan tempat peristirahatan terakhir para raja – raja Mataram.
Komplek makam raja – raja ini dikelilingi oleh beberapa dinding tembok bata berspesi serta gapura atau pintu.
Tempat ibadah ini merupakan bagian konsep catur gatra tunggal dengan meliputi empat elemen pembentuk identitas kota, yang terdiri dari:
1. Keraton sebagai pusat pemerintahan.
2. Alun – alun sebagai pusat kegiatan sosial budaya.
3. Masjid sebagai pusat spiritual.
4. Pasar sebagai pusat kegiatan ekonomi.
Bangunan masjid ini menggunakan gaya arsitektur tradisional Jawa dan dikelilingi pagar yang bercorak Hindu.
Atap dari masjid ini berbentuk tajug yang terbuat dari kayu serta ditutupi oleh genteng dan puncaknya diberi mahkota yang disebut pataka.
