Masjid di Kelemak ini telah dibina beberapa kali sejak 200 tahun yang lalu.  Masjid pertama yang dibina terletak diatas sebuah bukit bernama Bukit Tutu, di Kampung Pengkalan berhampiran dengan stesen keretapi lama. Masjid ini kemudiannya dipindahkan ke tapak yang ada sekarang. Jemaah yang boleh ditampung pada masa itu adalah  tidak melebihi 60 orang.. Masjid ini kemudiannya dibina semula dengan berasakan kayu dan berbumbung zink dan boleh menampung kira-kira 100 orang jemaah sahaja.

Pada tahun 1929, masjid ini telah dibina semula dengan berasaskan batu. Kos pembinaan tersebut menelan belanja RM5,000.00. Pembinaan tersebut telah membolehkan masjid ini menampung kira-kira 200 jemaah.  Pada 1982, sebuah masjid baru telah dibina bersebelahan dengan tapak masjid lama kesan daripada pertambahan jemaah yang tinggal di beberapar buah taman yang didirikan di sekitar kawasan masjid ini. Pembinaan masjid ini membolehkan sebanyak 600 orang jemaah menggunakan masjid ini dalam suatu masa. Pembinaan masjid ini telah menelan kos sebanyak RM200,000.00 Penduduk kampung kini telah meningkat bilangannya dengan terbinanya beberapa buah taman perumahan. Masjid ini tidak boleh lagi menampung bilangan jemaah yang ramai ini. Namun begitu, bangunan masjid lama telah dikekalkan dan digunakan bagi tujuan kelas –kelas agama, kelas-kelas mengaji Al-quran dan menjadi ruang solat untuk kaum wanita untuk sembahyang sunat hari raya Aidifitri dan Aidil Adha.

Pada zaman Dato' Dol Said, Dato' Naning Pertama tahun 1830, wakilnya iaitu Dato' Bilal Manja, suku Tiga Batu Belang, telah menjalankan adat istiadat kampung sebagai Ketua Pentadbir Agama Islam, Kampung Kelemak. Beliau meninggal dunia pada akhir tahun 1800an dan disemadikan diperkarangan masjid lama ini. Tugas tersebut telah  diambil alih oleh seorang Dato' Penghulu Adat bernama Dato' Penghulu Buruk bersukukan Tiga Batu Kampung Padang. Jenazah beliau turut dikebumikan diperkarangan masjid tersebut apabila beliau meninggal dunia. Selepas kematian Dato'       Penghulu Buruk, masjid ini ditadbirkan oleh Ahli Jawatankuasa yang dipilih oleh penduduk kampung hingga 1973 dimana AJK Masjid mula dilantik oleh Jawatankuasa Kemajuan dan Keselamatan Kampung.