Peringgit mendapat namanya apabila pemerintahan Portugis di Melaka (1511-1641) membina pos kawalan di puncak bukit ini.Ianya bertujuan mengawal pergerakan dan serangan orang-orang Naning iaitu sebuah daerah kecil yang merdeka. Oleh hal yang demikian, bukit ini disebut sebagai Bukit Peringgi dan kemudiannya dipanggil Peringgit sehingga ke hari ini. (Peringgi adalah gelaran orang-orang Melaka terhadap Portugis)

Masjid asal Peringgit telah dibina pada tahun 1414 Hijrah bersamaan 1756 Masihi telah musnah dan masjid baru yang kekal sehingga ke hari ini pula telah dibina pada tahun 1293 Hijrah bersamaan 1868 Masihi. Masjid Peringgit ini mempunyai rekabentuk amsjid tradisional yang mempunyai elemen-elemen seperti berbentuk empat segi, bahan binaan terdiri daripada batu letarite dan batu era Belanda sebagai asas dan dinding, lantai masjid diperbuat daripada susunan terracotta, loteng, perabung, kekisi tingkap dan pintu dibuat dari kayu. Bumbung tradisional masjid di Melaka adalah bumbung tiga lapissan yang mana gentingnya tediri daripada genting China pada bahagian verandah dan genting belanda pada bumbung tengah dan bumbung utama. Bahagian kubah atau puncak dibuat dari batu karang berukir seperti yang terdapat di masjid ini sehingga ke hari ini.

Pada tahun 1978-1979 pelbagai aktiviti pengubahsuaian dan pemuliharaan telah dijalankan ke atas masjid ini. Pada tahun 1988, masjid Negeri telah siap dibina dan Masjid Peringgit tidak lagi digunakan untuk solat Jumaat. Masjid ini hanya digunakan untuk solat harian. Oleh hal yang demikian, keadaan masjid ini tidak diselenggara dan dan terbiar menyebabkan banyak kayu- kayu yang terdapat di masjid ini rosak disebabkan oleh anai-anai dan reput akibat air hujan sehingga ianya tidak lagi selamat digunakan.

Pada tahun 2002, Jabatan Muzium dan Antikuiti telah melaksanakan kerja-kerja konservasi dengan mengembalikan bentuk asal masjid ini.