Masjid ini asalnya di bina pada tahun 1934 dan siap pada tahun 1936. Pembinaannya bertujuan menggantikan masjid lama yang diperbuat dari bahan kayu dan zink. Demang Haji Abdullah orang yang bertanggungjawab di dalam pembinaan masjid ini. Beliau di bantu oleh Pagoh bin Pandak, Khatap bin Haji Limin, Lajim bin Haji Lumin dan Ibrahim bin Abdullah.

Tapak tanah ini diwakafkan oleh Jeni bin Haji Husin yang merupakan pewaris daripada pemilik asal iaitu seorang Minangkabau. Pada tahun 1993 masjid ini telah diambil alih oleh MAIM. Pembinaan masjid ini dilaksanakan oleh tukang Cina dari Ayer Barok, Jasin, Melaka.