Lokasinya terletak di km 32, Pekan Sungai Rambai. Masjid ini merupakan masjid ketiga di kawasan Pekan Sungai Rambai selepas masjid pertama dan kedua telah mengalami kerosakan dan keusangan. Pembinaannya bermula pada tahun 1922 dan siap serta dirasmikan pada tahun 1928.

Pengasas masjid ini adalah Penghulu Jaafar bin Awang dan usaha beliau kemudiannya diteruskan oleh Penghulu Long bersama Sidang Mohd Yassin Long beserta Haji Abdullah bin Abd. Rahim. Mereka telah menjalankan kutipan derma berdasarkan cukai tanah di mana satu geran dikenakan bayaran sebanyak 50 sen dan sumbangan ikhlas dari penduduk setempat. 4 batang kayu tiang untuk dijadikan tiang seri telah disumbangkan oleh Encik Buntal yang merupakan penduduk setempat kawasan itu. Tapak tanah masjid ini telah diwakafkan oleh sidang Mohd Yassin Long yang kemudiannya dilantik sebagai penghulu setempat.

Tukang cina juga digunakan digunakan sewaktu pembinaan masjid ini manakala orang Melayu setempat kebanyakkannya membantu dalam hal mengangkut tanah dan sebagainya.

Pengubahsuaian masjid ini telah dilakukan sebanyak dua kali. Pada tahun 1968, penambahan ruang di bahagian kiri masjid telah dilakukan bagi menampung bilangan jemaah yang mana ketika masjid ini sedang ditadbir oleh. Penghulu Abdul Majid Baba, Tuan Haji Karim Bin Abdullah  dan Kassim Haji Isa.