Masjid ini dibina pada tahun 1960 daripada derma orang ramai diperbaharui beberapa kali dengan derma orang ramai dan kerajaan tetapi pada masakini solat Jumaat tidak dijalankan lagi kerana terbinanya Masjid Daerah yang terletak berhampiran. Oleh kerana kedudukan masjid ini terletak di tengah-tengah bandar Alor Gajah, sebuah masjid baru dibina bersebelahan dengan masjid lama dan masjid ini dijadikan sebagai Masjid Daerah Alor Gajah dengan gelaran Masjid Al-Rasyidin.
