Tapak asal masjid ialah di Kampung Masjid Lama Bongor. Disebabkan oleh banjir dan hakisan sungai, masjid ini telah dipindahkan ke Kampung Batu 48 Bonogr di atas tapak yang diwakafkan oleh Penghulu Mukim ketika itu iaitu Allahyarham Tuan Haji Awang Abd Rahman bin Abu Bakar pada awal tahun 50 an.
Masjid pertama yang dibina adalah hasil gotong royong penduduk kampung ketika itu. Bahan yang digunakan ialah kayu-kayu yang ditebang dari bukit-bukit berdekatan. Dengan kemahiran bertukangan penduduk, terbina sebuah masjid untuk kegunaan penduduk tempatan.
Pada tahun 1965 sebuah masjid baru telah dibina bagi menggantikan masjid lama yang agak uzur di atas tapak yang sama atas bantuan kerajaan. Pada tarikh 21 Ogos 1968 masjid ini telah dirasmikan oleh DYMM Tuanku Sultan Abdul Halim Muazam Shah Ibn Al Marhum Sultan Badlishah.
Atas persetujuan anak kariah masjid ini dinamakan Masjid Ar Rahmaniah Batu 48 Bongor Baling Kedah sekitar tahun 1970 an. Dengan pertambahan penduduk, telah dibuat tambahan sambungan masjid hasil sumbangan orang ramai. Namun bantuan masih diperlukan untuk ubah suai bumbung masjid yang agak uzur (hampir 38 tahun).
