Madrasah Mu’allimin Muhammadiyah Yogyakarta, yang lebih dikenal sebagai Mu’allimin, didirikan oleh K.H. Ahmad Dahlan pada tahun 1918 dengan nama “Qismul Arqa,” yang kemudian diubah menjadi Pondok Muhammadiyah pada tahun 1920, dan kemudian menjadi “Kweekschool Muhammadijah” pada tahun 1924. Baru pada Kongres Muhammadiyah tahun 1930 di Yogyakarta, namanya berubah menjadi “Madrasah Mu’allimin Mu’allimaat Muhammadiyah.” Setahun kemudian, madrasah ini dipisah menjadi Madrasah Mu’allimin Muhammadiyah (untuk putra) yang berlokasi di Ketanggungan, Yogyakarta, dan Madrasah Mu’allimaat Muhammadiyah (untuk putri) yang berlokasi di Kampung Notoprajan, Yogyakarta.

Pada Kongres Muhammadiyah Ke-23 tahun 1934 di Yogyakarta, ditegaskan bahwa Madrasah Mu’allimin-Mu’allimaat Muhammadiyah Yogyakarta merupakan Sekolah Kader Persyarikatan Muhammadiyah yang diselenggarakan oleh Pimpinan Pusat Muhammadiyah.

Pada Kongres Muhammadiyah di Medan tahun 1938, kedua Madrasah ini mendapat pengakuan secara formal. Kongres saat itu menugaskan kepada Pimpinan Pusat Muhammadiyah sebagai pengelola dan penanggung jawab atas keberadaan kedua madrasah ini di Yogyakarta. Pada tahun 1994, kedua madrasah ini kembali mendapat penegasan melalui surat keputusan PP Muhammadiyah No. 63/SK-PP/VI-C/4.a/1994 mengenai Qoidah Madrasah Mu’allimin-Mu’allimaat Muhammadiyah Yogyakarta.

Dalam perkembangannya, Mu’allimin selalu menyesuaikan program pendidikannya dengan perkembangan zaman. Pada tahun 1980, dilakukan perubahan mendasar pada sistem pendidikan Mu’allimin. Jika sebelumnya maskan atau asrama belum menjadi satu kesatuan sistem dengan madrasah, sejak tahun 1980, Mu’allimin mulai menganut sistem “long life education.”

Sistem ini menegaskan bahwa madrasah/sekolah dan maskan/asrama merupakan satu kesatuan yang tidak dapat dipisahkan dalam pelaksanaan program pendidikan. Sistem ini juga membuat Mu’allimin diakui sebagai Pondok Pesantren oleh Departemen Agama RI pada tahun 1984.

Untuk memperkuat kurikulum pendidikannya, pada tahun 1987 dilakukan upaya resistematisasi kurikulum Mu’allimin. Upaya ini bertujuan agar proses pendidikan dan pengajaran dapat lebih bermanfaat dan berhasil. Dalam upaya ini, ditetapkan kebijakan untuk menyusun paket terpadu yang mencakup materi bidang studi Al-Islam dan Kemuhammadiyahan dengan pendekatan kurikulum silang (crossing curriculum), yaitu menggabungkan materi Madrasah Tsanawiyah dan Madrasah Aliyah Departemen Agama RI dengan materi Mu’allimin yang merujuk pada referensi “kitab kuning.”

Dengan berlakunya Undang-Undang Sistem Pendidikan Nasional No. 20 Tahun 2003 dan Peraturan Menteri Agama No. 2 Tahun 2008, Mu’allimin mengacu pada 8 Standar Nasional Pendidikan (SNP) dan diperkaya dengan Peraturan Menteri Agama Tahun 2008 mengenai Standar Kompetensi lulusan dan standar isi Pendidikan Agama Islam dan Bahasa Arab di Madrasah, sehingga jumlah materi yang harus dipelajari oleh siswa Mu’allimin menjadi lebih banyak, terutama dengan penambahan muatan kepemimpinan dan kekaderan sebagai fokus sekolah untuk menghasilkan kader Persyarikatan Muhammadiyah.

Mu’allimin mengelola berbagai kegiatan peserta didik yang terintegrasi, termasuk intrakurikuler, kokurikuler, dan ekstrakurikuler, serta kegiatan pembiasaan di asrama dalam kerangka manajemen yang terpadu. Pendekatan ini bertujuan untuk mencapai efektivitas dan efisiensi, serta memastikan bahwa tujuan setiap pemangku kepentingan, termasuk Pemerintah (Kementerian Pendidikan dan Kebudayaan serta Kementerian Agama) dan Persyarikatan, dapat tercapai. Melalui “Long Life Education,” siswa belajar secara formal dan informal dalam satu pengawasan yang terpadu.