Masjid ini telah dibina secara bergotong-royong pada tahun 1850 Masihi oleh pengasas masjid ini yang dikenali sebagai Wan Chilek.
Masjid ini digunakan oleh penduduk di sekitar Kampung Duyung yang dianggap antara perkampungan Melayu tertua di Melaka. Masjid Duyung pada asalnya adalah sebuah surau yang kemudiannya menjadi sebuah masjid.
.
BINAAN
Konsep Reka Bentuk
Reka bentuk masjid ini mengikut seni bina tradisi tempatan. Bahan binaannya terdiri daripada kayu dan batu merah laterite. Bumbungnya beratapkan campuran genting dari China dan Belanda, berbentuk piramid atau turut disebut bumbung telangkup yang terdiri daripada tiga lapis, iaitu bumbung utama, tengah dan beranda. Oleh kerana kerap kebocoran, pada tahun 1967 Masihi atap daripada genting China dan Belanda ini telah ditukar dengan atap genting yang baru.
Puncak atau mahkota pada bumbung utama diperbuat daripada batu karang berukir. Kini kedua-duanya telah diganti dengan besi berukir setelah batu karang itu rosak dan sukar untuk mendapat ganti.
Pertambahan penduduk di kawasan Kampung Duyung menyebabkan Masjid Duyung sebagai rumah ibadah diperbesarkan beberapa kali. Kerja-kerja pemuliharaan sepenuhnya telah dilakukan pada tahun 2000 Masihi kerana bahagian masjid kebanyakannya telah uzur dan rosak.
Menara masjid ini pula didirikan pada tahun 1909 Masihi, iaitu terkemudian daripada pembinaan bangunan masjid. Rupa bentuknya seakan-akan sebuah pagoda menunjukkan hasil pengaruh seni binaan kaum Cina.
