Az első a vármegyeházát 1731-ben építették, amely egy háromszintes, manzárdtetős barokk stílusú épület volt. 1886-ban adták át az épület bővítését, egy nyugati irányba nyúló, ugyancsak háromszintes, barokkizáló homlokzattal. A harmadik jelentős építési periódus 1930-ra datálódik, amikor északi irányú bővítéssel megvalósult a közgyűlési terem együttese, amely építészeti megjelenésében harmonizál az eredeti barokk épülettel (lásd itt). Időközben pedig, 1895-ben, megépült az udvari épület, amelynek a déli homlokzata a barokkizáló eklektika, a rokokó köntösében jelenik meg – itt jelenleg a múzeum restauráló műhelye található.

A megyei közigazgatási célokat 1950-ig szolgálta az épület, majd itt működött a járási tanács, illetve földhivatali funkciókat is betöltött a ’70-es évek végéig, ekkor költözött a Baranya Megyei Múzeumok Igazgatósága az egykori vármegyeháza falai közé. 1978-ban született a gondolat, hogy a Modern Magyar Képtárnak adjon helyet az épület, ám a pénzügyi gondok miatt az EKF évéig, 2010-ig nem sikerült a tervet megvalósítani. A barokk és eklektikus épülettömeget ekkor egészítették ki az acél-üveg bővítéssel, az így kialakított „üvegház" lehetővé teszi, hogy az üvegen keresztül a középkori városfal, a rokokó udvari homlokzat és a közgyűlési terem építészeti elemei érzékelhetővé, élvezhetővé váljanak a látogatóközpont teréből is.

A Janus Pannonius Múzeum huszadik századi gyűjteménye a magyar képzőművészet nemzetközileg számon tartott kincsestára. Festészeti, grafikai és szobrászati anyaga a magyar kultúrtörténet pótolhatatlan része. A korszak legjelentősebb vidéki kollekciója, melynek egyes fejezetei országos vonatkozásban is csak itt találhatók meg a maguk teljességében, összefüggéseiben. A több mint 12 ezer darabos gyűjtemény sokmilliárdos érték. A modern magyar kultúra európai irányultságának dokumentálása mellett a nemzeti értékek egyetemes jellegét is bizonyítják a művek.