Na stijeni iznad Pazinske jame smješten je Kaštel, najveća i najbolje sačuvana fortifikacijska u Istri, podignut vjerojatno u 9. stoljeću. Prvi se put spominje u diplomi cara Otona II., izdanoj u Veroni 983. godine, u kojoj ovaj, među ostalim posjedima, potvrđuje biskupu Porečke Crkve Adamu tvrđavu Pazin. U ispravama na hrvatskome jeziku (Istarski razvod) naziva se Pazin, a u ispravama na njemačkome (urbari iz 1498. i 1578) Mitterburg. Oko utvrde razvilo se naselje, a novi je dio grada nastajao šireći se prema ravnijemu terenu na jugoistoku. Kaštel je tijekom stoljeća mijenjajući gospodare mijenjao izgled, često je pregrađivan, a svoj konačni izgled dobiva u 19. stoljeću.

Na brežuljku jugozapadno od Pazina, na podlozi nekadašnjega pretpovijesnog kasteljera, nalazi se Stari Pazin, koji s novim dijelom naselja danas čini sastavni dio grada Pazina. Prvi se put spominje 1012. godine u listini kralja Henrika II. (973.-1024.), u kojoj ovaj potvrđuje jedno ranije darovanje gradova Pićna i Pazina akvilejskoj crkvi (duas civitates... Penna... altera vero Pisino). U ispravi iz 1199. godine nosi naziv Pisino de supra, a u listinama na njemačkom jeziku (urbar iz 1498.) Obernnburg (Gornji grad). 

Pazinska knežija 

Pojam Pazinska knežija javlja se u srednjovjekovnoj listini nazvanoj Istarski razvod (gospodin Juri Lihar...Knežije pazinske kapitan), datiranoj 1325. godinom, kao službeni naziv među hrvatskim pučanstvom za dio Istre pod Austrijom. Donedavno se u hrvatskoj historiografiji pretežno rabio naziv Pazinska grofovija što je u stvari prijevod talijanskog naziva (Contea di Pisino), odnosno njemačkog (Grafschaft Mitterburg). Pod tim pojmom podrazumijeva se područje pod vlašću pazinskog kapetana, a sačinjavaju ga mjesta unesena u urbar.

U raznim tekstovima, publicističkim i stručnim, o prvom spomenu Pazina u povijesnim izvorima pojedini autori navode da se Pazin spominje 2. lipnja, a drugi 7. lipnja 983. Svi se oni pozivaju na tekst Diplome cara Otona II. iz 983. odnosno „citiraju“ dio teksta. Nitko se nije pozabavio cjelovitim tekstom sve do nedavno preminulog dr. sc. Mate Križmana, podrijetlom iz Žminja - klasičnog filologa, profesora grčkoga i latinskoga jezika, prevoditelja - koji je prvi objavio prijepis i prijevod cjelovitog teksta Diplome Otona II. iz 983. godine u kojoj se po prvi put spominje pazinska utvrda (kaštel) Castrum Pisinum, koja nije nastala ni 2. ni 7. lipnja nego 30. svibnja 983. godine. Evo dokaza.

Tekst izvornog latinskog zapisa i hrvatski prijevod Diplome cara Otona II. iz 983. godine autora Mate Križmana objavljen je u knjizi Libri žminjski u izdanju Katedre Čakavskog sabora Žminj (2008.). Diploma Otona II. porečkom biskupu Petru nalazi se u fondu Segreteria di Stato Archivio Vaticano. Kako bi jednom za svagda riješili pitanje prvog spomena Pazina u do sada dostupnim povijesnim izvorima u nastavku donosimo cjeloviti prijevod teksta Diplome:

Car Oton potvrđuje biskupu Porečke Crkve njezine posjede. U ime svetoga i nedjeljivoga Trojstva. Oton, pod okriljem Božje blagosti car rimski, uzvišeni. Ako o Božjim crkvama brigu vodimo, i ako ih uznastojimo proširivati, uvećava se i vrhunac Carstva našega, o tome ni najmanje ne dvojimo. S obzirom na to, neka sveukupnost vjernika Božje Crkve i naših podanika, ne samo ovih sadašnjih nego i onih budućih, znade ovo: uz posredovanje i na traženje našega ljubljenoga svećenika Dudona i đakona Andrije, dobrohotnoga nam duhovnog pomoćnika, predstojnik svete porečke Crkve Adam stupio je pred naše blagodušje zaiskavši od nas da se za ljubav Božju i na spas svoje duše, na temelju naše zapovjedne vlasti, sva imanja njegove Crkve što su ih naši carski i kraljevski predšasnici na spas svoje duše darovali već rečenoj Crkvi, bazilici u kojoj počiva tijelo svetoga Maura, odnosno što su ih njoj prepustili gdjekoji Bogu odani vjernici, ili će ih u budućnosti prepustiti, udostojimo njoj potvrditi i pravno osnažiti.

Njegovim smo uglednim zahtijevanjima priklonili uho naše milotvornosti, pa smo već napomenutoj Crkvi njezina imanja, poimenice: Motovun (Montonam), Ružar (Rosarium), Nigrinjana (Nigrignanum), Tar (Turrim) nadležan za ribanje devetine i za ribanje u Červaru (Ceruara), zatim pazinski kaštel (et Castrum Pisinum), Medelan (Medelanum), ono što su kraljevi ili Hugon (Vgone) udijelili to jest Rovinj (Ruuignum) onoliko koliko su od njega biskupiji odnosno Crkvi porečkoj darovali naši predšasnici, i to u mjestu zvanome Dvigrad i Bale (Duo Castella et Valles), skupa sa svim pripadnostima rečenih imanja koje po pravu i zakolnu pripadaju već rečenoj biskupiji, kao i zaselcima, zemljišnim česticama, poljima, vinogradima, livadama, vodama i vodotocima, ribolovnim mjestima, mlinovima, lovištima, uzvisinama, zaravancima, udolinama, skupa sa svim pokretninama i nekretninama koje se mogu izreći odnosno imenovati, ili s kojim god mjestom na kojem već rečena biskupija ima zemlje, ovim našim nalogom potvrđujemo istome biskupu Adamu i njegovim nasljednicima, i pravno osnažujemo. 

Libri suhog zlata 

Zapovijedamo najzad i nalažemo neka ni jedan dužd, patrijarh, nadbiskup, biskup, markgrof, knez, kneški namjesnik te nijedna osoba u našem kraljevstvu, ni visoka ni niska položaja, ne pokuša već napomenutoga biskupa ili njegove nastupnike uznemiravati glede ičega od prije navedenoga, i neka se ni na kakvim parnicama oni koji imaju potražbe od biskupa ne usprotivljuju, bez biskupova odvjetnika, ljudima što su nastanjeni na zemljištima te iste porečke biskupije, i neka se ovi, osim pred biskupa, nikamo ne privode   protiv svoje volje bez zakonskoga suda; nego neka taj isti biskup i njegovi nasljednici smiju spokojno i mirno sva svoja imanja držati čvrsto posjedovati, posve uklonivši bilo čije protivljenje.

Nađe li se dakle kakav povrjeditelj ove naše isprave, u što ni najmanje ne vjerujemo, neka zna da će namiriti tisuću libara suhoga zlata, pola našoj Riznici, a drugu polu već rečenom biskupu i njegovim nasljednicima. A kako bi to svi više vjerovali i marnije obdržavali, osnažujući ovu našu ispravu zapovjedili smo neka ona utisnućem našega pečata niže bude obilježena. (monogram) Otona cara, uzvišenoga.

Znamen Gospodina Otona, prejasnoga i nepobjedivoga cara. Adalbert nadpisar kao namjesnik biskupa Petra, voditelja pisarnice. Dano, 30. svibnja godine od upućenja Gospodinova devet stotina osamdeset treće, indikacije jedanaeste, kraljevanja pak Gospodina Otona Drugoga dvadeset šeste, a carevanja njegova trinaeste. Učinjeno u Veroni. Sretno. Amen. Slušanjem ovjerih ja, Julije Brusamolin, bilježnik u Raveni.

Temeljem svega navedenog može se zaključiti da bi se Dan Grada Pazina trebao obilježavati 30. svibnja, a ne 2. lipnja.