Sekolah Menengah Atas SMA Al Islam I Surakarta didirikan oleh KH. Imam Ghazali bin Hasan, seorang ustadz lulusan Ma’had Mekah, arab Saudi. Beliau mendirikan Al Islam bersama KH. Abdussomad, Kh. Abdul Manaf, dan pendiri lainnya yang kesemuanya merupakan alumnus Pondok Hamsaren. Perserikatan Al Islam berdiri mulai tanggal 27 Ramadhan 1345 H atau 21 Maret 1927 M dan mulai mengadakan pengajian-pengajian Majelis Ta’lim serta mendirikan Madrasah Dinul Islam di Sorosejan Begalon yang mana merupakan tempat tinggal Kyai Ghazali. Dalam perkembangan berikutnya diperoleh wakaf-wakaf lainnya di Laweyan, Grobagan, serta Panularan. Dari tempat-tempat itulah didirikan masjid dan madrasah. Hasilnya perkembangan Al Islam selalu diawali dengan mendirikan madrasah dan masjid di sampingnya. Madrasah sebagai pendidikan formal sedang masjid sebagai majlis ta’lim informal.

Pada tahun 1939, Al Islam bersama lembaga-lembaga lainnya mendirikan MIAI Majelis Islam A’la Indonesia. Pada tanggal 12 September 1979 pengurus pusat perguruan Al Islam membentuk Yayasan Perguruan Al Islam yang masih berlanjut hingga sekarang. SMA Al Islam I sendiri pada awalnya merupakan madrasah kulliyat yang berkembang menjadi madrasah tsanawi aliyah yang dipimpin oleh Kyai Makmuri Kepala Sekolah SMA Al Islam I Surakarta dan lokasinya dipindah di komplek Masjid At Taqwa yang merupakan tanah wakaf dari RM. Mangkutaruna di tahun 1939. Kyai Makmuri lalu mengalihkan kepemimpinannya kepada Kyai Musthafa sedangkan beliau sendiri menjadi pemimpin di MAN sampai dengan wafatnya di tahun 1977. pada periode inilah mulai berkembang menjadi SMA Al Islam yang terdaftar di Departemen Agama dan Depdikbud. Setelah melewati masa-masa perintisan ini, kepercayaan masyarakat kepada SMA Al Islam I semakin bertambah dan pendaftar yang mendaftarkan diri ke SMA Al Islam pun bertambah sehingga sekolah dibagi menjadi dua yaitu SMA dan Aliyah, sebagian ada yang masuk pagi dan yang lainnya masuk sore.

Selanjutnya yang masuk sore dimintai Depag untuk dijadikan MAN sekarang di Bonoloyo pada tahun 1977 dan para guru di9jadikan pegawai negeri pula. Lalu terjadilah pergantian Kepaloa Sekolah hingga 4 kali. Dari tahun ke tahun perkembangan Al Islam semakin maju, hingga pada tahun 1985 status SMA Al Islam I yang tadinya berstatus diakui berubah menjadi status disamakan.