Pierwsze wzmianki o Fromborku pochodzą z 1278 roku. Po zniszczeniu katedry braniewskiej w powstaniu pruskim, biskup warmiński Henryk Fleming przeniósł kapitułę warmińską i wybudował drewnianą katedrę pw. Wniebowzięcia Matki Bożej. Przez kanoników miejscowość nazywana była Grodem Naszej Pani (Castrum Dominae Nostrae), niemieccy osadnicy zaś nazywali ją Frauenburg. Osada składała się z dwóch odrębnych jednostek, z których jedną stanowił kompleks na Wzgórzu Katedralnym, a drugą miasto nad brzegiem Zalewu. Każda miała odrębne prawo, a ich połączenie administracyjne nastąpiło dopiero w 1926 roku.

Stanowiące własność biskupów warmińskich, a później kapituły miasto stało się stolica Warmii, zwanym Civitas Warmiensis, zaś prawa miejskie (na prawie lubeckim) nadano mu w 1310 roku. W latach 1329-1388 kapitułą warmińska wzniosła katedrę na wzgórzu, którą w późniejszym czasie otoczono murami obronnymi, systemem bram, baszt i wież obronnych. Życie osadników toczyło się wokół zajęć związanych z rybołówstwem, rolnictwem i rzemieślnictwem. W 1466 roku cała Warmia wraz z Fromborkiem weszła w skład Królestwa Polskiego. W XV wieku powstał we Fromborku port rybacki, od połowy wieku XVI istniała tu gildia rybacka.

W latach 1510-1543 mieszkał i pracował we Fromborku Mikołaj Kopernik. Był sekretarzem i lekarzem przybocznym, prowadząc jednocześnie obserwacje astronomiczne. To tu napisał swoje dzieło De revolutionibus orbium coelestium, tu również został pochowany, a jego prochy spoczywają w Bazylice Archikatedralnej na Wzgórzu Katedralnym.

Przez wieki Frombork był niejednokrotnie niszczony i odbudowywany. Szczególnie ucierpiał w wyniku wojen polsko-szwedzkich, które wywołały upadek gospodarczy w drugiej połowie XVII wieku. Po I rozbiorze Polski miasto znalazło się w granicach Prus. W 1837 roku przeniesiono tu siedzibę biskupstwa, pod koniec XIX wieku zaś, wraz z uruchomieniem linii kolejowej nastąpił rozwój turystyki, powstały hotele, gospody i pensjonaty.

Po II wojnie światowej Frombork wrócił do granic Polski i z powodu poważnych zniszczeń stracił prawa miejskie. Odzyskał je w 1959, w latach 1966-73 został odbudowany.