A Székesegyház szomszédságában álló palotatömb az évszázadok alatt fokozatos átalakításokon ment keresztül. Janus Pannonius, a nagy reneszánsz költő, aki 1459-től foglalta el a pécsi püspöki széket, a nyugati toronyban obszervatóriumot rendezett be. Ő és az utódai a palotát reneszánsz stílusban építtették át. Az épület később sikeresen vészelte át a török hódoltság időszakát, majd a 18. században barokk átalakításokat hajtottak végre rajta. A legjelentősebb átépítést Scitovszky János püspök végeztette el a 19. század közepén. Ekkor alakult ki a palota mai, romantikus stílusú tömbje, amelyet 1879 körül új neoreneszánsz homlokzattal láttak el. A püspökvár zárt területét ugyancsak Scitovszky püspök nyitotta meg, elbontva a püspökvár déli falait a kaputoronnyal együtt – ezek a falak ott húzódtak, ahol ma a Szepessy Ignác-szobor áll.

Szintén ő építette fel a Szent István tér alján álló Miasszonyunk-templomot és -zárdát, kialakítva a székesegyház alatt húzódó terület mai arculatát. A püspöki lakosztály beosztása az 1750-es évektől nem változott, és az egyes helyiségek funkcionális elnevezést kaptak: előszoba, szalon, dolgozó és így tovább.

A Püspöki palota kertjéből indul és a magtárig húzódik az a titkos föld alatti folyosó, amelynek keletkezése valószínűleg a középkorra nyúlik vissza, ám történelmi jelentőségét a 20. század második felében, a kommunista egyházüldözések idején nyerte el. A püspök ugyanis itt fogadta azokat a vendégeit, akikkel bizalmasan kívánt szót váltani – a „Texas bár” néven emlegetett alagút blokkolta a lehallgató készülékek frekvenciáit, ennek folytán pedig az Államvédelmi Hatóság, amely a püspökséget természetesen folyamatos megfigyelés alatt tartotta, nem tudta nyomon követni az itt zajló találkozókat.

Gyönyörű környezetben, a Székesegyház és a palota közvetlen szomszédságában nyílt meg a Magtár Látogatóközpont. Az épületet az 1700-as évek elején Nesselrode Ferenc püspök építtette. A többszintes borospince fölött most a Látogatóközpont emelkedik, amely turisztikai információs pont, s egyben konferenciák, közösségi események, kiállítások, művészeti bemutatók és a minőségi vendéglátás helyszíne. A magtár annak idején szilárd agyagból épült és cseréppel volt fedve. Az épületet 7000 pozsonyi mérőre tervezték – a pozsonyi mérő 1865-ben 62,8 liter, 46,56 kg volt, a magtár tehát összesen 439 600 liter folyadék vagy 325 920 kg termény tárolására volt alkalmas. A magtár alatt húzódik a két boltozott, kettős bejárattal ellátott pince. A 18. században épített borospince az egykori püspöki rezidenciához tartozott és az uradalom „főpincéjeként” volt ismeretes. A föld mélyében rejtőző kétszintes térség – ahol a pince eredeti hordóinak belsejébe is betekinthet a látogató – történelmi látószögbe helyezi az ország egyik legnevesebb borvidékének gazdagságát és a Pécsi Egyházmegye nagy múltú borkultúráját.

A Pécsi Püspökség minden egysége egész évben látogatható. A magyar és idegen nyelvű idegenvezetések mellett számos egyéb lehetőség teszi még élményszerűbbé a látogatást. Részletekről a Pécsi Püspökség honlapján lehet tájékozódni.