Lokasinya terletak di dalam Pekan Masjid Tanah. Masjid ini di bina pada tahun 1800an oleh seorang Sheikh yang berasal dari Gujerat. Namun Hj. Sulong bin Sibeng merupakan orang tempatan yang turut bekerja keras dalam pembinaannya. Pada awalnya pembinaan masjid ini berasaskan tanah. Oleh hal yang demikian, masjid tersebut di kenali sebagai Masjid Tanah. Masjid ini pernah menjadi tempat sembahyang bagi orang-orang dari Kampung Tengah, Kampung Durian Daun dan beberapa kampung lain sebelum kewujudan masjid-masjid di setiap kampung di kawasan Masjid Tanah .

Pada tahun 1951 masjid ini telah di ubah suai. Antara kerja - kerja yang dilakukan ialah memperbaiki tapak dan menggantikan atapnya. Masjid ini hanya dijadikan sebagai tempat persinggahan sahaja setelah  masjid baru Masjid Tanah siap di bina.