Masjid ini di bina pada tahun 1954 dan siap pada 1955 dengan perbelanjaan dari derma orang ramai. Masjid ini di bina untuk menggantikan masjid papan yang di bina pada awal abad ke - 20. Tapak asal masjid ini  berhampiran dengan makam Allahyarham Dato’ Dol Said iaitu Dato’ Naning ke 9. Tapak masjid sekarang adalah tapak masjid yang diasaskan oleh Allahyarham Datuk Arshad iaitu Datuk Naning ke 15. Beliau bagaimanapun tidak dapat meneruskan pembinaan masjid itu oleh beberapa sebab yang tidak dapat dielakkan.

Allahyarham Datuk Mohd Shah, Datuk Naning ke 18 bersama-sama jawatankuasa lain menyambung pembinaan masjid ini dengan jayanya pada tahun 1954. Kos pembinaan adalah dibiayai sendiri oleh ahli khariah, penyumbang - penyumbang luar khariah, dalam dan luar negara seperti Singgapura, Indonesia, Brunei dan Thailand.