Pedagogas, visuomenės veikėjas, Kretingos muziejaus įkūrėjas.
Gimė 1903 m. birželio 1 d. Bružių kaime, Panevėžio rajone. Mirė 1975 m. gruodžio 8 d. Kaune. Mokėsi Panevėžio realinėje gimnazijoje, Panevėžio mokytojų seminarijoje. 1925–1929 m. dirbo Skapiškio vidurinės mokyklos direktoriumi. 1925–1927 m. dėstė Skapiškio mokytojų kursuose. 1929 m. dirbo Aukštadvario vidurinės mokyklos direktoriumi. 1930–1938 m. – Kretingos 1-ojo rajono pradžios mokyklų inspektorius.
Dirbdamas mokyklų inspektoriumi Kretingoje pradėjo rinkti medžiagą apie Kretingos istoriją, kolekcionuoti istorijos ir etnografijos eksponatus, organizuoti kraštotyrinę veiklą.

1934 m. J. Žilvičio iniciatyva įsteigtas Kretingos apskrities komitetas Lietuvos archeologiniams, istoriniams ir etnografiniams paminklams apsaugoti (nuo 1935 m. Kretingos muziejaus komitetas), Kretingos kraštotyros draugija, kurios tikslas buvo įkurti Kretingos muziejų. 1935 m. J. Žilvitis išrinktas Kretingos muziejaus komiteto pirmininku. 1935 m. liepos 12 d., atidarius Kretingos muziejų, J. Žilvitis paskirtas vyriausiuoju muziejaus tvarkytoju (dirbo iki gruodžio 19 d.). Ką tik atidaryto muziejaus didžiąją ekspozicijos dalį sudarė J. Žilvičio dovanoti eksponatai iš asmeninės kolekcijos (apie 300 vnt.).
1938 m. paskirtas Kauno 1-osios amatų mokyklos direktoriumi bei Kauno valstybinių dažymo ir dekoravimo mokytojų ir instruktorių kursų vedėju.
1941 m. birželio 14–15 d. su šeima suimtas ir ištremtas į Altajaus kraštą, 1942 m. pervežtas prie Laptevų jūros. Tremtyje mokytojavo pradinėse Kongustacho ir Jakutsko mokyklose. 1959 m. J. Žilvitis su šeima sugrįžo į Lietuvą. Iki mirties dirbo mokytoju Kauno aklųjų mokykloje-internate.
J. Žilvičiui suteiktas Kretingos rajono Garbės piliečio vardas.