1830-ban Piatsek József pécsi építőmester tervei alapján egy letisztult, egyemeletes, klasszicista épület épült fel. Eredetileg iskola volt, de falai között ma rokokó díszítésű polcokon a tudományos és az egyházi élet neves személyiségeiről mintázott mellszobrok vigyázó szemei alatt évszázadok kéziratos és nyomtatott könyvei sorakoznak. A könyvgyűjtemény történeti gyökerei azonban jó fél évszázaddal korábbra nyúlnak vissza.

Klimo György pécsi püspök (1751–1777) 1774 tavaszán nyitotta meg a nagyközönség számára mintegy 20 évig gyarapított könyvgyűjteményét a püspöki palota délnyugati szárnyában felépített épületben. Az első magyarországi nagy nyilvános bibliotéka felállítását azzal a nem titkolt szándékkal kezdeményezte az alapító, hogy az az újraszervezendő pécsi egyetem szakirodalmi bázisa legyen. A városnak egyetem létrejöttére még mintegy 150 évet kellett várnia (1921/1923), de addig e célt szem előtt tartva bővítették az állományát, és „szakkönyvtára” lett a város közép- és felsőfokú intézményeinek.

A pécsi nyilvános püspöki könyvtár 1832-ben kapta meg báró Szepesy Ignác püspök (1828–1838) jóvoltából mai „otthonát”, a Pécsi Püspöki Lyceum első épületét a fent említett kis szűk utcácskában. Itt három nagy teremben helyezték el a köteteket. A déli az Aranyterem nevet kapta, hiszen oda kerültek a legszebb egészbőr-kötéses, aranyozással díszített gerincű kötetek. Az északi nagy terem a Hártyaterem nevet viseli, hiszen itt a kötetek pergamenkötése volt az egyik elrendezési elv. A középső díszterem – a mai bejárat – mintegy „könyvtár a könyvtárban”, a Szepesy-féle könyvgyűjtés anyagait foglalja magába. Innen a helyiség ma is használatos neve: Szepesy-terem. 1880-ban faláttöréssel egybenyitották a három külön bejárattal rendelkező nagy helyiséget, hozzácsatolva a legszélső, északi kis szobát, amelyet szintén faltól-falig bepolcoztak. Ide helyezték el a 19–20. század fordulóján működő pécsi kanonokok hagyatékait és ajándékait, ekképpen ma a Székeskáptalani terem nevet viseli.

A rokokó díszítésű könyvespolcokon a görög és római tudományosság nagyjai mellett helyet kapnak az egyházatyák, szentek, püspökök és pápák mellszobrai, melyek a barokk képfaragó, Franz Anton Speth műhelyében készültek el, hatot (Rudnay Sándor, Pázmány Péter, Bánffy György, Ürményi József, Illésházy István és Barkóczy Ferenc mellszobrát) pedig 1835-re Szepesy megrendelésére a neves pécsi szobrászművész, Bartalits Mihály faragott ki.

Az enciklopédikus gyűjteményben a latin, német és magyar nyelvű munkák mellett Európa szinte minden nyelvén és számos Európán kívüli nyelven készített mű is megtalálható. A Klimo Könyvtár ma 23 174 művet őriz 32 249 kötetben: ezek közül 20 950 mű nyomtatott (15–20. század), 2224 pedig kéziratos (13–20. század).

A Klimo Könyvtár 1923 óta a Pécsi Egyetemi Könyvtár kezelésében van, és 2008 óta a Történeti Gyűjtemények Osztálya legnagyobb különgyűjteménye. Védett muzeális állománya nem kölcsönözhető, ám nyilvánosan kutatható és a pécsi egyetemi könyvtári egységek bármelyikébe beiratkozott olvasó a kutatóteremben használhatja.

A könyvtár termeit, állandó és évente megújuló kiállításait magyar, német és angol nyelvű idegenvezetés kíséretében tekinthetik meg az érdeklődők. Az országos kulturális rendezvények keretében (Múzeumok Éjszakája, Kulturális Örökség Napok, Múzeumok Őszi Fesztiválja) ingyenes látogatásokkal, gyerekprogramokkal és múzeumpedagógiai foglalkozásokkal is várják a vendégeket.