Muziejus įsikūręs buvusiame Šilokarčemos (Šilutės) dvare, kuris yra vienintelis išlikęs bei restauruotas dvaras Klaipėdos krašte. Muziejaus kolekcijos atskleidžia Mažosios Lietuvos regiono dvarų kultūrą, šio krašto etninį bei kultūrinį savitumą.
Vokiečių kilmės dvaro savininkas Hugas Šojus (Hugo Scheu, 1845–1937) buvo vienas iškiliausių Klaipėdos krašto žmonių, labai prisidėjęs ir prie Šilutės plėtros, dviejuose dvaro rūmų kambariuose įkūręs pirmąjį Klaipėdos krašte privatų muziejų. Dvaras Antrojo pasaulinio karo pabaigoje buvo nuniokotas, o 1949 m. surinkus likusias vertybes įkurtas Šilutės kraštotyros muziejus.
Nuolatinės ekspozicijos, parengtos naudojantis Hugo Šojaus kauptomis ir iki šių dienų išlikusiomis kolekcijomis, pristato dvarininko asmenybę, jo šeimos istoriją, kultūrinės, mokslinės, visuomeninės veiklos rezultatus. Autentiška freskų salė ir fojė reprezentuoja senojo dvaro interjerą.
Muziejuje veikia biblioteka, archyvas, restauracijos ir edukacijos centras. Muziejus turi padalinius (ekspozicijas), kurie įsikūrę Švėkšnoje, Žemaičių Naumiestyje, Macikų kaime.
