Sejarah asal masjid ini tidak dapat dipastikan. Masjid ini di bina pada tahun 1900-an. Masjid ini di bina hasil muafakat penduduk setempat yang memberi sumbangan kewangan serta tenaga. Hasil daripada kutipan sumbangan, buruh - buruh cina di upah untuk mendirikan masjid ini di samping di bantu oleh penduduk setempat. Masjid ini telah mengalami kerosakan dan telah di baiki dan di ubah suai beberapa kali tetapi hanya melibatkan penambahan kecil dalam rekabentuknya. Pada tahun 2001 Masjid Bukit Bayan Baru siap di bina kerana masjid lama tidak dapat menampung bilangan penduduk setempat. Pada tahun 2002 masjid ini telah di baiki oleh PERZIM dan diwartakan pada tahun yang sama.