Kampung Durian Guling terkenal apabila Tuan Haji Mohd Shafie membuka pondok pengajian agama yang dikenali dengan nama “Madrasah Madzahirul Ulumâ€. Pada tahun 1963 sebuah surau yang terletak diluar dari kawasan pondok telah dipindahkan ke dalam kawasan pondok berkenaan. Seterusnya pada tahun 1968, Madrasah Madzahirul Ulum telah diambilalih oleh Kerajaan Negeri dan dinamakan Sekolah Menengah Agama Durian Guling (sekarang SMKA Durian Guling) dan surau berkenaan terbiar.
Surau berkenaan kemudiannya dipindahkan ke tapak sekarang dan dinaiktaraf menjadi masjid mulai Jumaat 26 Ogos 1975. Sebelum itu, penduduk setempat berjumaat sama ada di Masjid Binjai Rendah yang jaraknya 2.5 km atau Masjid Wakaf Tapai yang jaraknya 5.5 km dari kampung Durian Guling.
Pada akhir 1981 sebuah masjid baru dibina di atas tapak seluas 1.25 ekar dengan kos RM 359,000.00 dan siap sepenuhnya pada akhir tahun 1982. Bangunan ini mula digunapakai untuk jemaah dan Jumaat pada 18 Februari 1983.
