Masjid ini dibina tidak jauh kebelakang dengan Masjid
Kampung Hulu. Iaitu 1152 Hijrah bersamaan 1748 Masehi.
Kemudian masjid ini dibaharui dalam tahun 1288 Hijrah
bersamaan 1872 Masehi dengan bangunan batu. Dalam
tahun 1908 atap masjid ini ditinggikan mengikut atap Masjid
Kampung Hulu.Keseluruhannya pembinaan masjid ini adalah
derma daripada hartawan-hartawan dan orang ramai.
BINAAN
Konsep Reka Bentuk
Masjid ini direka bentuk mengikut seni bina masjid-masjid di kepulauan Sumatera Indonesia yang terpengaruh dengan seni bina Hindu. Namun demikian terdapat juga pengaruh budaya Cina pada bentuk menaranya yang seakan-akan sebuah pagoda.
Reka bentuk sebegini menjadi kelaziman pada menara masjid-masjid sekitar Melaka. Selain daripada konsep reka bentuknya, ketiga-tiga budaya Hindu, Cina dan Melayu turut diterap pada hiasan dalaman masjid ini.
Monumen Bersejarah
Pada asalnya Masjid Kampung Kling dibina menggunakan bahan daripada kayu tetapi ia telah diruntuhkan dan digantikan semula dengan bahan binaan daripada batu bata pada tahun 1872 Masihi. Pada tahun 1908 Masihi sekali lagi ia telah diubah suai.
Pada tahun 1999 Masihi, Jabatan Muzium dan Antikuiti telah menjalankan kerja-kerja pemuliharaan Masjid Kampung Kling ini dan meletakkan ia sebagai salah satu bangunan bersejarah bagi Negeri Melaka.
Masjid ini terletak di Jalan Tukang Emas bersebelahan Tokong Hindu Sri Payyatha Viyanagar Moorthi dan Tokong Cheng Moon serta berdekatan Masjid Kampung Hulu. Kawasan persekitaran masjid ini turut dikenali sebagai Jalan Harmoni kerana rumah-rumah ibadat agama Islam, Hindu dan Cina yang berdekatan antara satu sama lain.