Masjid ini terletak di Jalan Kampung Hulu dan dibina sekitar tahun 1720-1728. Pembinaannya dipercayai telah diusahakan oleh Datuk Arom atau Harun, seorang pendatang Cina yang telah memeluk agama Islam. Masjid yang merupakan masjid tertua di Melaka ini telah dibina pada zaman Belanda dan diubahsuai dengan binaan batu pada tahun 1892.