A Káptalan utca 2. szám alatti épületet írásos formában 1324-ben említik először. 1477-ben ebben az épületben alapította Magyarország első nyilvános könyvtárát Handó György prépost. A török megszállás alatt a mohamedán török főpap lakott az épületben.

1844-ben Piatsek Antal építette át a jelenleg ismert formájúra az épületet. Az 1930-as években kisebb restauráláson esett át, majd 1955-ben, a kiállítás beköltözése előtt is kisebb átalakítás történt. Ezután ötven éven keresztül lényegi módosítás nem történt; 2005 és 2007 között restaurálták az épületet teljes körűen. Korábban az épület fala freskókkal volt díszítve, ám egy felújítás során ennek nagy része lekopott, eltűnt.

A Janus Pannonius Múzeum gyűjteményét a pécsi Városi Múzeum Zsolnay-kollekciója alapozta meg, amely történeti áttekintést ad a díszműgyártásról, és amely 1907-ben Zsolnay Miklós ajándékaként került a gyűjteménybe. A Zsolnay család 1928-ban múzeumot alapított Zsolnay Vilmos születésének 100. évfordulója alkalmából. Ezt a több ezer darabot számláló gyári kollekciót 1948-ban a család tanulmányi gyűjteményével együtt államosították és 1951-től vették fel a Janus Pannonius Múzeum leltárába. Építészeti kerámiák és tervrajzok, a díszművekhez készült kiviteli tervek és a gyár működésével kapcsolatos dokumentumok, oklevelek kerültek a múzeum gyűjteményébe személyes vonatkozású fotókkal, levelekkel együtt.