Im Mündungsdreieck von Pfreimd und Naab gab es schon um 1000 eine Wehranlage zum Schutz der hier das Flusstal querenden Magdeburger Straße. 1280 gelangte die Burg an die Wittelsbacher und von diesen an die Landgrafen von Leuchtenberg, deren Residenz Pfreimd 1332 wurde, ab 1502 jedoch zusammen mit Grünsfeld bei Tauberbischofsheim. Seit 1399 war Pfreimd mit einer Befestigung versehen, in die bis 1412 auch die Vorstadt Freyung einbezogen wurde. 1481 ereignete sich ein verheerender Stadtbrand. Danach folgte ein kontinuierlicher Ausbau von Schloss und Stadt. Als 1646 der letzte Leuchtenberger Maximilian Adam dem Minoritenorden beitrat, fiel das Territorium an Kurbayern, blieb jedoch verwaltungstechnisch weitgehend selbständig. 1817 verlieh König Max I. Joseph seinem Schwiegersohn Eugène Beauharnais (Stiefsohn Napoleons) den Titel eines Herzogs von Leuchtenberg. Burg Wernberg ging 1646 ebenfalls aus dem Besitz der Leuchtenberger in wechselnde private Hände über und ist heute ein Hotel. Burg Pleystein, etwa 26 km nordöstlich von Pfreimd gelegen, verkauften die Leuchtenberger 1418 an die Kurpfalz. 1777 kam die Burg dann an Bayern. Ihre Reste wurden 1814 beim Bau der Wallfahrtskirche Heilig Kreuz entfernt. Im Vordergrund: der Hohlweg der Straße nach Hohentreswitz.