Masjid Tok Ku Paloh yang terletak di Kampung Paloh, telah didirikan oleh Engku Syed Abd Rahman (Tok Ku Paloh) bin Syed Muhamad (Tok Ku Tuan Besar) di atas sebahagian tanah yang diwakafkan oleh beliau sendiri bagi tapak masjid dan perkuburan. Tanah lot 18 Geran 1983 seluas 12 ekar adalah pemberian Haji Abdullah Langkawi kepada Tok Ku Paloh.
Menurut cerita, tanah tersebut dilelong kerana tidak dibayar cukai tanah dan menurut cerita yang lain, keseluruhan tanah tersebut terbabit dalam satu kes jual beli oleh beberapa individu suatu ketika dahulu dan akhirnya jatuh kepada seorang berbangsa Cina.
Pada tahun 1980 tanah seluas 12 ekar ini terlibat dengan pengambilan balik tanah bagi pembinaan Muzium Negeri Terengganu, termasuk tapak masjid dan tanah perkuburan. Pemilik berdaftar tanah berkenaan tidak mahu menerima kesemua bayaran pampasan bagi 2 tanah berkenaan sebaliknya bersetuju menyerahkan sejumlah RM 33,000.00 (nilaian bagi 1 ekar tanah) dan RM 12,300.00 (kos pindah masjid) kepada Majlis Agama Islam dan Adat Melayu Terengganu, atas sifatnya pemegang amanah wakaf, pada Februari 1981.
Pada tahun 2000 beberapa pihak, termasuk PAS Cawangan Kampung Paloh telah memohon supaya kebenaran berjumaat di masjid lama Tok Ku Paloh dikembalikan bagi mengekalkan tanah wakaf.
Jawatankuasa Fatwa Majlis Agama Islam dan Adat Melayu Terengganu dalam mesyuarat Kali Ke Tiga Penggal Ke Lima pada 30 Julai 2000 bersamaan 28 Rabiulakhir 1421 memutuskan tidak bersetuju dengan permohonan tersebut tetapi dalam mesyuarat Kali Ke Tujuh Penggal Ke Lima pada 15 Januari 2001 bersamaan 20 Syawal 1421 memutuskan sebaliknya.
Jumaat semula di bangunan lama masjid ini dimulakan pada 2001