Masjid ini dibina pada tahun 1954 di atas tanah yang diwakafkan oleh penduduk kampung seluas setengah ekar.  Bangunan asal masjid ini kemudiannya dibangunkan melalui sumbangan orang ramai dan kerajaan Pada tahun 1989 bangunan masjid ini diubahsuai dan  ditambah ruang sembahyang serta kemudahan asas yang  lain . Bangunan tambahan masjid ini siap sepenuhnya pada tahun 1990.

Kini masjid Kampung Paya Datuk mampu menampung lebih 600 jemaah pada suatu masa. Kedudukannya yang strategik di laluan masuk ke Negeri Melaka di sebelah utara menyebabkan masjid ini menjadi pilihan untuk bersembahyang bagi umat Islam kerana infraksraktur di masjid ini serba lengkap dan selesa.