Masjid Agung Melaka merupakan institusi keagamaan utama dalam Kesultanan Melayu Melaka yang bukan sahaja berperanan sebagai tempat solat, malah menjadi pusat aktiviti keagamaan, sosial dan pentadbiran. Menurut catatan sejarah seperti Sejarah Melayu dan sumber Portugis termasuk Suma Oriental oleh Tome Pires, masjid ini dibina oleh Sultan Mansur Syah sekitar tahun 1456–1477. Ia digambarkan sebagai struktur indah dan kukuh yang dibina menggunakan bahan seperti bongkah batu dan kayu serta atap daun palma.

Masjid ini terletak di lokasi strategik berhampiran istana, muara sungai dan jambatan utama yang menghubungkan pusat pemerintahan Melaka dengan kawasan Upeh. Kedudukannya menjadikan masjid ini antara sasaran utama serangan Portugis ke atas Melaka pada 25 Julai 1511. Dalam pertempuran tersebut, tentera Portugis berjaya menawan jambatan dan masjid sebelum membakarnya bersama istana. Namun, kelemahan logistik memaksa Portugis berundur lalu memberi ruang kepada tentera Melaka untuk memperkukuh pertahanan.

Serangan kedua berlaku pada 10 Ogos 1511 (atau 8 Ogos mengikut sesetengah sumber), ketika subuh hari Jumaat. Masjid Agung sekali lagi menjadi lokasi utama pertempuran dan dipertahankan oleh Sultan bersama menantunya dan kira-kira 3,000 orang. Pertahanan ini tidak dapat menahan kemaraan Portugis, lalu masjid dan jambatan jatuh sepenuhnya ke tangan musuh. Arahan pembunuhan besar-besaran oleh Albuquerque mencetuskan pertumpahan darah dan peristiwa ini menandakan kejatuhan Kesultanan Melayu Melaka di sini.

Bagi memperkukuh penguasaan mereka, Portugis membina kubu A’ Famosa di atas tapak Masjid Agung yang telah dimusnahkan. Batu-batu dari Pulau Upeh, kubur-kubur lama sultan serta sisa runtuhan masjid digunakan untuk pembinaan kubu ini. Kubu A’ Famosa dibina dengan reka bentuk kukuh dan bersifat simbolik bagi menggantikan institusi keagamaan Islam dengan struktur ketenteraan penjajah.

A’Famosa merupakan binaan kota pertama oleh Portugis setelah menawan Melaka pada 1511. Bentuk segi empat tepat Kubu A’Famosa bertepatan dengan catatan sejarah tentang kedudukan A’Famosa di tapak Masjid Besar Melaka. Berdasarkan catatan sejarah oleh Damiam de Goes (1566) menyatakan; “... Alfonso D’Albuquerque kini sibuk membina sebuah kota berkubu, di mana sebuah masjid pernah wujud, dan menamakannya ‘Famosa’ “

A’Famosa terletak di kaki Bukit Melaka dan di muara Sungai Melaka yang juga berhampiran jambatan yang merentangi Sungai Melaka. A’ Famosa dalam lukisan pertama Gaspar Correia dalam atlasnya - Lendas Da India sekitar tahun 1512, mempunyai menara yang agak tinggi setinggi enam tingkat di sudut kubu berhampiran jambatan. Manakala benteng di tiga penjuru bandar yang lain ialah bangunan dua tingkat.

Terdapat banyak catatan Portugis tentang Masjid Agung Melaka yang mana ia adalah sebuah bangunan yang indah, luas dan kukuh yang diperbuat daripada batu dan granit, bumbungnya diperbuat daripada daun palma (palm leaf) dan mempunyai pelbagai barangan atau alatan yang diperbuat daripada kayu di dalamnya, terletak di antara jambatan yang merentangi Sungai Melaka dan Istana Melaka.  Masjid ini juga merupakan tempat tentera Portugis bermalam selepas mereka berjaya menawan kota Melaka. Berdasarkan catatan oleh Gaspar Correia (1511) dalam Lendas da India:

"Oleh kerana matahari telah pun terbenam, Gabenor memberi arahan untuk berundur ke masjid yang diperbuat daripada batu, iaitu bangunan yang kukuh. Di sana, Joao de Lima bermalam bersama beberapa pembesar dan empat ratus tentera yang lain. Terdapat sebuah masjid besar yang dibina daripada bongkah batu, serta bangunan yang lebih kecil (daripada masjid) dan batu nisan juga diperbuat daripada batu”

Oleh kerana peranan masjid itu besar, maka ia terletak berhampiran dengan istana. Menurut Sejarah Melayu, atau sumber luar seperti dari Portugis, ia adalah faktor yang jelas bahawa kemewahan dan kekayaan bukanlah sesuatu yang boleh dinafikan dalam zaman Kesultanan Melayu Melaka. Oleh itu, amat wajar dinyatakan bahawa Masjid Agung Melaka merupakan salah satu bangunan penting yang mempunyai ciri seni bina tersendiri dan mungkin sangat mewah atau sangat cantik seperti yang dinyatakan oleh Tom Pires (1512) dalam catatannya Suma Oriental bahawa mengabadikan keindahan Masjid Agung Melaka suatu ketika dahulu sebelum dimusnahkan oleh Portugis. Dalam bab 11, Damiam de Goes (1566) menyatakan lokasi masjid dan jambatan berhampiran seperti dalam nota seterusnya seperti berikut: "... jambatan ... dan masjid berdekatan ... Mereka dan yang lain sampai di satu hujung jambatan di sebelah (tebing) di mana masjid dan istana sultan berada, dan Alfonso D'Albuquerque, serta bendera diraja berada di hujung yang lain (jambatan) ... "Sungguhpun terdapat banyak catatan dalam penulisan sejarah mengenai Masjid Agung, kajian arkeologi lanjut perlu dibuat bagi memastikan kekuatan dan ketepatan fakta serta kedudukan Masjid Agung yang lebih tepat.