Išliekamąją vertę turintys kultūros paveldo objektai XIX a. buvo pradėti kaupti Rietavo dvare, kurį valdė kunigaikščiai Oginskiai. Rūmai garsėjo meno kūriniais, archeologijos, senovinių ginklų, muzikos instrumentų rinkiniais, puošniai įrištų muzikinių natų, partitūrų kolekcija. Turtinga buvo dvaro biblioteka, vertingas archyvas. XX a. pradžioje vykusių suiručių metais šias vertybes Rietavas prarado – jos pasklido po įvairias bibliotekas, muziejus, privačias kolekcijas. Laikui einant gimė idėja mieste įkurti muziejų, kuriame būtų galima išsamiai susipažinti su šio krašto istorija. Tad 2000 m. buvo įsteigtas Rietavo Oginskių kultūros istorijos muziejus. Šiandien muziejus kaupia ir saugo kultūrines, istorines vertybes, rūpinasi Rietavo dvaro sodybos paminklinių objektų bei parko priežiūra.