Masjid ini merupakan sebuah surau yang dibina pada tahun 1820 yang diketuai oleh Datuk Panglima Daeng Salleh yang bergelar Panglima Sulong Raja bertempat di jalan Raja Haji,Telok Mas.

Pada tahun 1840, masjid baru dibina di tapak yang sama. Pembinaan masjid baru ini diasaskan oleh Ketua Kampung iaitu Datuk Penghulu Haji Idris. Menara masjid ini pula dibina jauh daripada tapak masjid pada tahun 1913 di bawah pimpinan Datuk Penghulu Daud bin Hamzah. Rekabentuk menara yang terdapat di masjid ini mempunyai ciri-ciri yang serupa dengan menara yang terdapat di Masjid Tanjung Kling dan Tengkera.

Pengubahsuaian masjid telah dilakukan pada tahun 1951 dan pada tahun 1967 bagi pembinaan ruang tambahan di bahagian hadapan bagi kemudahan jemaah.Pada tahun 1989,ruang tambahan tersebut dirobohkan semula bagi membesarkan keseluruhan ruang masjid sehingga ke pagar kawasan masjid tanpa menukar rekabentuk asal masjid akan tetapi bumbung kelihatan seperti dua lapisan sahaja kerana bahagian bawah telah tertutup dengan tembok.Tiang seri di bahagian dalam masjid hanya tinggal 2 batang dan telah disalut dengan simen.