Masjid Qaryah Jimah Lama telah dibina pada tahun 1964M. Pengasasnya ialah Allahyarham En. Mohd Yusof Bin Jaafar. Tapak masjid ini telah dikurniakan oleh Kerajaaan negeri. Masjid ini pernah dibaiki dan dinaik taraf pada tahun 1991M dan 2007M dan 2009M. Pada awal pembinaan masjid ini, ahli jemaah adalah seramai 100 orang sahaja dan kini ahli jemaah telah mencapai seramai 200 orang. Masjid ini mengurus dan mengawal selia sebuah kawasan tanah perkuburan dan sebuah surau.
