Žemaičių vyskupystės muziejus buvo įkurtas Varniuose 1999 m. vėlyvojo baroko pastate, buvusiuose Žemaičių kunigų seminarijos rūmuose. Jie iškilo 1770 m. vyskupo Jono Dominyko Lopacinskio rūpesčiu ir lėšomis. Šio pastato architektūros  projekto eskizų autorius yra žymiausias Lietuvos Didžiosios Kunigaikštystės XVIII a. vėlyvojo baroko architektas Jonas Kristupas Glaubicas. Per šimtmečius rūmų paskirtis ir šeimininkai kelis kartus keitėsi. Neprižiūrimas pastatas labai nukentėjo sovietmečiu. Atkūrus Lietuvos nepriklausomybę, jis buvo pradėtas restauruoti. Restauravimo darbai dar nebaigti, todėl muziejus veikia tik pietiniame pastato fligelyje ir kitose atnaujintose rūmų erdvėse.
Muziejaus tikslas – kaupti, saugoti ir visuomenei pristatyti Žemaičių vyskupystės bei Telšių vyskupijos meno, istorijos, memorialinį paveldą, tęsti krikščioniškąją regiono ir valstybės tradiciją. Žemaičių vyskupystė buvo įsteigta 1417 m. ir apie porą šimtmečių vadinosi Medininkų vardu. Jos centras beveik 450 metų buvo Varniai. Šio miesto vaidmuo religiniame, kultūriniame ir politiniame Lietuvos gyvenime buvo ypatingas ir paliko ryškų pėdsaką šalies kultūroje ir istorijoje. Varniuose dirbo ir gyveno iškiliausi Lietuvos dvasininkai: vyskupas Merkelis Giedraitis, pamokslininkas Petras Roizijus, kanauninkai – vertėjas Mikalojus Daukša ir istorikas Motiejus Strijkovskis, vyskupai Antanas Tiškevičius, Juozapas Arnulfas Giedraitis, Motiejus Kazimieras Valančius.
XIX a. Varnių kunigų seminarija pelnytai laikoma tautinio lietuvių sąjūdžio lopšiu. Čia mokėsi daug iškilių asmenų, tapusių žinomais rašytojais, kultūros ir Bažnyčios veikėjais, prisidėjusių prie lietuvių nacionalinio išsivadavimo judėjimo: Antanas Strazdas, Jurgis Pabrėža, jau minėtas Motiejus Valančius, Antanas Baranauskas, Juozapas Silvestras Dovydaitis, Antanas Vienažindys ir daugelis kitų šviesuolių.