Dievdirbys. Spėjama, kad jis galėjo gyventi 1963–1911 m. Švėkšnoje buvo baigęs dvi pradinės mokyklos klases.

Duoną pelnėsi iš batsiuvio, dailidės, šaltkalvio darbo.
Daugiausiai J. Rumšos sukurtų šventųjų skulptūrėlių būta Veiviržėnų apylinkėse.
Menotyrininkai jo kūrybą lygina su kito minėtu laikotarpiu tose pačiose apylinkėse gyvenusio ir kūrusio dievdirbio J. Piauloko darbais.
J. Rumša žinomas ir kaip uždraustos lietuviškos spaudos platintojas.
Nuo 1904 m. gyveno Rietave, grojo Oginskio orkestre. Dalyvavo 1905–1907 m. revoliucijoje.
Tyrinėjant jo identifikuotus darbus, matyti, kad J. Rumša darė labiausiai šiame krašte populiarių šventųjų skulptūrėles – šv. Jurgio, šv. Florijono, Marijos Maloningosios ir kt.

J. Rumša remiasi ikonografijoje vyravusiu vaizdavimu. Jo skulptūros panėši į gipsines, pradėtas platinti Lietuvoje XX a. trečiąjį dešimtmetį.