Původní německý název „Reichenstein“, později změněný na „Bergreichenstein“, se poprvé objevuje již před rokem 1325 a souvisí s těžbou zlata v této oblasti. Původní název vznikl z předložkového tvaru“am reichen Stein – u bohaté skály“ . A protože se zde dolovalo po dlouhou dobu, byl ke jménu Reichenstein přidáván určovací člen Berg, tj. hora, ve které se doluje.
Současný název Kašperské Hory se ujal až po roce 1617, kdy tehdejší královské horní město Bergreichentein odkoupilo od císaře Matyáše hrad Kašperk.
Již v roce 1345 měly Kašperské Hory vlastní znak a pečeť. V rámci českých zemí mají Kašperské Hory po Brnu nejstarší městský znak. To znamená, že Kašperské Hory mají nejstarší městský znak v Čechách.
Původní městský znak je zachycen na znakové pečeti latinské nadační listiny pro kostel sv. Mikuláše z 24. srpna 1345. Na základě textu a vyobrazení polepšovacího privilegia z roku 1572 lze přepokládat i jeho původní barvy. Znak tvořil raně gotický štít, pravděpodobně červené barvy, z jehož levého spodního okraje vyrůstala pravá paže horníka v černém rukávu. V lokti byla ohnuta vzhůru a svírala zlatou rukojeť černého mlátku (hornické kladivo) ve vodorovné poloze. Po stranách paže byla vodorovně položena ještě dvě želízka (kladivo a špičák) stejných barev špicemi otočená doprava, pravé bylo výš. Znak vyjadřoval vyobrazeným hornickým náčiním příslušnost většiny obyvatel k hornickému povolání.
První městské znaky pravděpodobně vznikly již na počátku 14. století, aby se od sebe, díky svým praporcům, odlišily ozbrojené sbory jednotlivých měst. Znak pro odlišení svého ozbrojeného sboru museli Kašperskohorští získat nejpozději v již zmíněném roce 1345, kdy byli povoláni do českého vojska na pomoc Janu Lucemburskému. Protože tento sbor tvořili především horníci, objevila se na štítech a na praporcích charakteristická symbolika.
K další významné změně znaku došlo v roce 1572, kdy město získalo od císaře Maxmiliána II. tzv. polepšený městský znak, novou pečeť a právo pečetit červeným voskem. Tento nový znak byl doplněn symboly opevňovacích zařízení. Město si však hradby nikdy nevybudovalo. Byly však postaveny brány, které stály až do roku 1840.
Založení samotné obce úzce souvisí s hlubinnou těžbou zlata. S tou bylo na Kašperskohorsku, jak dokládají některé archeologické nálezy technických zařízení (úpravna zlaté rudy – nejstarší svého druhu na světě), započato již koncem 13. století.
Určit původ hornických kolonistů je velmi nesnadné, protože jakmile byla objevena kašperskohorská ložiska zlata, začali se zde shromažďovat bánští podnikatelé a havíři, kteří pravděpodobně založili tzv.horskou obec v jejímž čele stál jako králův zástupce hormistr. Bylo-li dolování trvalejší, byla horská obec doplněna obcí městskou, tj. kromě již přítomných těžařů, havířů a bánských dělníků přibyli řemeslníci, obchodníci a živnostníci. A to se jistě stalo i zde, neboť v privilegiu Jana Lucemburského z 29.září 1345 se již hovoří o rychtáři, přísežných (poradci rychtáře), obci horníků, městu a o měšťanech.
To znamená, že v roce 1345 zde nebyla pouhá hornická obec, ale dokonce svobodné horní město, které mělo tzv. horní svobodu. Symbolem obecní pravomoci byla městská pečeť, uschovaná u purkmistra, s jejímž otiskem se lze poprvé setkat na nadační listině z 24.8. 1345. Důkazem prudkého ekonomického růstu města je i skutečnost, že nedlouho po dokončení kostela sv. Mikuláše se bohatí obchodníci rozhodli pro stavbu dalšího kostela (sv. Linharta – dnes sv. Markéty) uprostřed tržiště.
Kašperskohorské doly byly jedny z nejvýnosnějších, a proto i když v roce 1337 zastavil Jan Lucemburský všechna česká naleziště Petru z Rožmberka, kašperskohorské si ponechal. Až v roce 1338, kdy jeho dluhy i nadále rostly, musel i tyto doly zastavit. Ze zástavy byly vyňaty někdy před rokem 1345.
O kladném vztahu krále Jana Lucemburského ke Kašperským Horám svědčí i městské privilegium z 29. září 1345, v němž se mimo jiné říká, že s ohledem na velkou oddanost a poslušnost, jež byla tak velmi prokázána věrnými rychtářem, přísežnými a hornickou obcí v „Reychinstayně“ při vojenské službě před Lantzhutem (Janovo tažení do Slezska, kde v dubnu 1345 dobyl město Landshut), za ochotné a spolehlivé služby poskytnuté i v jiných znatelných pohromách i za služby, které v budoucnosti budou ještě prokázány, odpustil pro potřeby horníků v celém okolí král Jan městu všechen ungelt (poplatek ze zboží dovezeného do města a tam prodávaného – clo) s výjimkou solného obchodu, který si vyhradil ke svému užitku. Panovník zároveň rozkázal svým synům Karlu, markraběti moravskému, a Janu (Jindřichovi), vévodovi korutanskému, taktéž hejtmanům, podkomořím, sudím, ostatním svým úředníkům a poddaným, aby nyní i v budoucnu neutiskovali, či jinak nezatěžovali měšťany „Reychinstaynu“, pokud by tito měšťané neupadli do těžkých trestů a v nemilost u krále.
O velikosti dolů a početním zastoupení horníků vypovídá skutečnost, že s Janem Lucemburským odešlo do tažení 600 zdejších ozbrojených havířů, a přesto nebylo dolování ani rýžování přerušeno.
Významu Kašperských Hor si byl vědom i Karel IV., a proto v roce 1356 rozkázal Vítu Hedvábnému, aby severně od města vystavěl hrad určený pro obranu nalezišť zlata. Hrad byl po svém zakladateli pojmenován Karlsberg. K dalšímu, pro Kašperské Hory důležitému počinu krále došlo v roce 1366, kdy bylo městu dáno privilegium bezcelného užívání druhé pasovské cesty, která měla nahradit nejstarší cestu z Bavor do Čech, solnou tzv. Zlatou stezku prachatickou. Tato silnice (byla určena i pro kupecké povozy, ne jen pro dopravu na soumarech) byla dokončena v roce 1366 a vedla z Pasova přes Kvildu do Čech. Král Karel přikázal všem kupcům, kteří po ní pojedou, aby zůstali přes noc v Kašperských Horách i s povozem, který vezou. Neuposlechnutí se trestalo pokutou, z níž polovina připadla královské komoře a polovina městu.
I za Václava IV. se pokračovalo v intenzivní těžební činnosti. S tím souvisely mnohé spory, které vedli kašperskohorští s majiteli sousedních pozemků, neboť se občas stalo, že našli nová naleziště zlata a založili nový důl již za hranicemi svých pozemků. Obvykle spor skončil kompromisem, jako například spor se strakonickými johanity, jimž patřily pozemky na Kvildě, a kteří ponechali městu pozemek v užívání za podíl na vytěženém zlatě. Václav také roku 1399 znovu potvrdil listinu Karla IV. z roku 1366 (viz. výše). Ke konci vlády Václava IV. byly doly v Kašperských Horách spolu s doly v Jílovém u Prahy zastaveny na tři roky Petru z Netvořic. Tak měl tento muž pod kontrolou většinu produkce zlata v zemi. Hrad Kašperk patřil v této době nejvyššímu mincmistrovi Petru Zmrzlíkovi ze Svojšína.
Husitské války byly jedno z mála období ve středověku, během kterého bylo přerušeno dolování. Kašperskohorští se svým německým patriciátem zůstali na straně katolické reakce. Výraznými příznivci husitů byli však v této době držitel hradu, již zmíněný, Petr Zmrzlík a jeho synové. K žádným výrazným konfliktům však ani v této době nedošlo a následující 16. století bylo pro Kašperské Hory dokonce obdobím rozkvětu. Kromě dolů se na bohatnutí města stále více podílí i obchod. Z Bavorska se k nám dováželo hlavně železo, sůl, koření, látky, zbraně a víno. Vyvážel se naopak dobytek, obilí, máslo, ryby, slad, pivo, vosk atd. I nadále byly Kašperské Hory v přízni panovníků a tak byly postupně potvrzovány výsady získané za vlády Jana Lucemburského a Karla IV. Potvrdili je Zikmund (1436), Ladislav (1456), Vladislav II. (1479), Ludvík (1523). V roce 1538 přidal Ferdinand I. i právo konat každou sobotu trh a povolil dva výroční jarmarky v délce 8 dnů i výsadu pečetit červeným voskem. Roku 1572 získalo město od Maxmiliána II. polepšený městský znak (viz. výše). Významným rokem je i letopočet 1584, kdy Kašperské Hory získaly od Rudolfa II. titul svobodného královského horního města. Tentýž panovník prodal Horám i některé z okolních vesnic, patřících do této doby do panství hradu Kašperka. Jednalo se o Plavěčín (později zanikl), Řetenice, Nicov, Mílov, Červenou, Velký a Malý Kozí Hřbet, Plzenec, Opolenec, Tuškov, Žlíbek a Dolní Dvory. Roku 1617 koupilo město i samotný hrad. Pro město byl od roku 1551 chloubou i pivovar. V této době mělo město dokonce i brány, právo vystavět si hradby však měšťané nikdy nevyužili. Ať už to bylo pro zaneprázdnění dolováním, nebo nechutí omezit rozpínání města. Zmíněné hradby byly však kolem roku 1840 zbořeny. Těžba zlata však během 16. století klesala.
Během třicetileté války byly báňské práce silně omezeny a tak zde, podle berní role z roku 1654, žilo pouze 114 obyvatel. Za celé 17. století bylo v revíru vytěženo jen něco málo přes 100 kg zlata. Obyvatelé se sem navraceli během dlouhých desetiletí, avšak zlatodolům již definitivně „odzvonilo“ a na jejich místo se dostalo sklářství, výroba papíru, dřevařství a chov dobytka.
I když okolí Kašperských Hor bylo v průběhu dějin politicky poměrně klidné, nepokoje v 17. století se ho přece jen dotkly. Důsledky třicetileté války se začaly stále více projevovat. Vrchnost zabírala opuštěné selské dvory a začala na nich hospodařit. Neměla však dost čeledi ani peníze, aby si ji najala. Aby se z této situace dostala, začala se zvyšovat robota. Proti robotě se však postavili kašperskohorští poddaní. Centrem rebelie byly vesnice: Nicov,Řetenice, Milov a Opolenec. Vůdcem odporu se stal chudý kašperskohorský občan Mikuláš Stier. Ten od roku 1678 agitoval v některých vesnicích panství a následně sepsal žádost císaři, kterou hodlal odevzdat místodržícímu v Praze. Vrchnost (městská rada Kašperských Hor) okamžitě zakročila a dala některé selské předáky na několik týdnů uvěznit. Sedláci však neustoupili a počátkem roku 1679 doručili krajskému hejtmanu Ignáci Vitanovskému z Vlčkovic list se svými požadavky a stížnostmi. Konečné urovnání v květnu 1679 však přineslo poddaným jen malé ústupky.
Ještě na konci 18. století docházelo k opakovaným pokusům obnovit těžbu zlata, skončily však ztrátou a tak byly roku 1777 důlní práce zcela zastaveny.
Po nálezu bohatých vzorků byla těžba obnovena v roce 1803 a pracovalo se zde až do roku 1846. Náklady na provoz nově ražených štol (Josef, František, Kristina) však převyšovaly výnos, a proto rakouský stát v roce 1868 prodal doly v dražbě. K opětovným pokusům o těžbu došlo až v roce 1916. A protože význam Kašperských Hor stoupal a klesal s úrovní těžby zlata, začalo město postupně upadat do zapomnění. Ani bohatství okolních lesů nedokázala nahradit bývalé výnosy z dolů.