Seperti masjid kuno di Jawa, tempat ibadah ini memiliki ruang utama, serambi, pawestren (tempat ibadah bagi jamaah perempuan), tempat wudhu, dan kolam kecil.
Dalam ruang utama terdapat mihrab (tempat pengimaman), mimbar (tempat khatib berkhutbah), serta empat tiang sokoguru yang menopang atap model tajug.
Selain itu, terdapat sebuah bedug berusia hampir sama dengan usia masjid dengan ukuran diameter 1 meter yang tersimpan di serambi masjid.
Ternyata bedug tersebut didapatkan oleh Sunan Kalijaga yang secara tidak sengaja menemukan pohon besar saat sedang mengembara melalui Kulon Progo.
Diketahui pula, pohon besar tersebut ternyata milik Kyai Pringgit atau dikenal dengan Nyai Brintik.
Akhirnya Sunan Kalijaga pun meminta izin untuk mengambil pohon tersebut yang akan digunakan sebagai kerangka bedug.
Hingga saat ini Masjid Gedhe Mataram digunakan sebagai tempat ibadah umat Islam serta wisata religi dan juga ziarah.***