Masjid ini berasal daripada surau yang dibina pada tahun 1820 di ketuai oleh Datuk Panglima Daeng Salleh yang bergelar Panglima Sulong Raja bertempat di jalan Raja Haji, Telok Mas. Imamnya ialah Tuan Haji Fakeh Dalili dan bilalnya pula Haji Hassan.
Pada tahun 1840, masjid baru dibina di tapak masjid sekarang. Masjid ini diasaskan oleh Ketua Kampung, Datuk Penghulu Haji Idris dan Imam pertama adalah Haji Bia Nurudin. Menara masjid didirikan jauh daripada tapak masjid pada tahun 1913, di bawah pimpinan Datuk Penghulu Daud bin Hamzah. Rekabentuk menara bersamaan dengan menara yang terdapat di Masjid Tanjung Kling dan Tengkera. Senarai imam yang bertugas bermula tahun 1820 – 1995 ialah Haji Faheh Dali (1820-1840), Haji Bia Nurudin (1840-1860), Haji Mohd Shah (1860-1887), Haji Idris (1887-1925), Haji Yusof bin Haji Omar (1925-1947), Haji Ghazali bin Haji Idris (1948-1958), Haji Said bin Zainal (1958-1978), Haji Husin bin Kassim (1978-1986), Haji Bokhari bin Haji Said (1986-1992), Haji Zaini bin Haji Ghazali (1992-1993), Haji Jalil bin Haji Idrus sebagai Imam 1 dan Haji Zaidan bin Haji Bahar sebagai Imam II.
Pengubahsuaian masjid telah dilakukan pada tahun 1951 dan pada tahun 1967 ruang tambahan di bahagian hadapan dibina bagi kemudahan jemaah. Pada tahun 1989, ruang tambahan dirobohkan dan dibina semula dengan membesarkan keseluruhan ruang sehingga ke pagar kawasan masjid. Namun rekabentuk asal masjid masih dikekalkan. Manakala bumbung hanya tinggal dua tingkat sahaja kerana bahagian bawah telah tertutup dengan tembok. Tiang seri di bahagian dalam masjid hanya tinggal 2 batang sahaja dan telah disalut dengan simen.
Kerja-kerja pengubahsuaian ini menelan belanja sebanyak RM110,000.00.
