Gimė 1891 m. kovo 28 d. Plungės r. Jėrubaičių kaime.

1904 m. eksternu pabaigęs ketvirtąją Palangos progimnazijos klasę, su mama persikėlė gyventi į Plungę. Tuo metu Plungės muzikos mokyklos įkūrėjas ir globėjas kunigaikštis M. Oginskis (1849–1902) jau buvo miręs, tačiau jo puoselėtos muzikinės tradicijos mieste dar buvo gyvos. J. Žilevičiaus mokytoju čia tapo Plungės vargonininkas N. Sasnauskas. Būdamas keturiolikos metų, J. Žilevičius jau neblogai grojo fortepijonu, kartu su buvusiais kunigaikščio M. Oginskio muzikos mokyklos auklėtiniais grojo Plungės kvartete. 1908-aisiais, sulaukęs vos 17 metų, J. Žilevičius tapo Plungės bažnyčios vargonininku. Praėjus vos metams – lemtinga pažintis ir draugystė su kompozitoriumi ir dailininku M. K. Čiurlioniu. Tai J. Žilevičių skatino gilesniems muzikos ir savo gyvenimo kelio apmąstymams. Tuomet jis nutarė mokytis toliau ir išvažiavo studijuoti į Varšuvą. Jo mokytojais tapo profesoriai M. Suržinskis ir V. Lipovskis.

Lemtinga J. Žilevičiui Plungėje buvo pažintis ir su iškiliu to meto Peterburgo universiteto profesoriumi E. Volteriu, tyrinėjusiu Lietuvos etnografiją ir paskatinusiu J. Žilevičių rinkti Žemaičių krašto dainas. Pirmąsias savo surinktas Plungės ir Tverų apylinkių senąsias liaudies dainas į Peterburgą profesoriui Juozas nusiuntė dar 1911 metais. Šiomis žemaitiškomis dainomis tuo metu itin susidomėjo Č. Sasnauskas. Jis užmezgė pažintį su jaunuoju žemaičių muziku, su juo susirašinėjo.

Prasidėjus Pirmajam pasauliniam karui, J. Žilevičius atsidūrė Peterburge, kur gyveno 1914–1919 metais. Čia jo globėju tapo Č. Sasnauskas. Gavęs jo rekomendaciją, J. Žilevičius pradėjo dirbti Šv. Kotrynos gimnazijos chorvedžiu, Č. Sasnauskas jam padėjo pasirengti ir stojimui į Imperatoriškąją konservatoriją. Jis toliau mokėsi groti vargonais (mokytojas Ž. Handšinas), kompozicijos žinias gilino pas A. Žitomirskį, J. Vytuolį, A. Glazunovą.

Gyvendamas Peterburge, J. Žilevičius tapo P. Galaunės pagalbininku. Jie kartu dirbo ieškodami į Rusiją išvežtų Lietuvos valstybei priklausiusių kultūros vertybių. Jo dėka buvo išsaugoti ir Č. Sasnausko rankraščiai.

Baigęs Imperatoriškąją konservatoriją, J. Žilevičius turėjo du metus atidirbti Vitebske – 1919–1920 m. tenykštėje konservatorijoje dirbo dėstytoju. Čia jam suteiktas profesoriaus laipsnis.

1920 m. grįžęs į Lietuvą, J. Žilevičius sukūrė nemažai dainų, kitų nedidelių muzikinių kūrinių, įsijungė į 1920 m. pradžioje įkurtos Lietuvių meno kūrėjų draugijos veiklą, rūpinosi visuomenės estetinio auklėjimo ir švietimo reikalais, organizavo simfoninės muzikos koncertus bei kitus muzikinius kūrinius Kaune, tuo sudarydamas galimybę visuomenei geriau susipažinti ne tik su lietuvių, bet ir su užsienio šalių profesionaliąja muzika. Tuo pat metu jis dėstytojavo Kauno muzikos ir vaidybos mokyklose. 1920 m. Kaune buvo įkurta Operos taryba, kurios nariu kartu su S. Šilingu, K. Petrausku, J. Tallat Kelpša buvo ir J. Žilevičius. 1922–1924 m. jis buvo Švietimo departamento meno skyriaus viršininkas. Tuo laikotarpiu (1925 m.) J. Žilevičius pasirūpino išleisti M. K. Čiurlionio kūrinius. Jis savo darbe daug dėmesio skyrė jaunimui – bendrojo lavinimo mokykloms parengė muzikos ir dainavimo programą. Publikacijas muzikos istorijos, jaunimo muzikinio auklėjimo ir kitomis visuomenės estetinio ugdymo temomis skelbė spaudoje.

1924 m. J. Žilevičiaus iniciatyva suorganizuota pirmoji Lietuvos dainų diena. Joje skambėjo ir paties sukurta daina „Vilnius“.

Lietuvai atgavus Klaipėdos kraštą, J. Žilevičius išvyko dirbti į Klaipėdą. Čia jis gyveno 1924–1928 metais. Uostamiestyje J. Žilevičius įsijungė į „Aukuro“ draugijos, kuri rūpinosi lietuvybės puoselėjimu šiame krašte, veiklą.

Iš pradžių Klaipėdoje jis dirbo mokykloje (nuo 1927 m. pavasario – Klaipėdos muzikos mokyklos direktoriumi), vadovavo chorui, rinko Klaipėdos krašto senąsias liaudies dainas, 1924–1925 m. leido žurnalą „Muzikos menas“ (vėliau – „Muzika“).

J. Žilevičius – vienas iš aktyviausių muzikų, 1925 m. organizavusių M. K. Čiurlionio 50-ųjų gimimo metinių minėjimą Kauno valstybės teatre.

1927 m. jis suorganizavo Klaipėdos krašto lietuvių dainų šventę ir jos išvakarėse surengė savo surinktų lietuvių liaudies muzikos instrumentų bei Petrapilyje ir Lietuvoje surinktos muzikologinės medžiagos parodas (didžiąją šių eksponatų dalį Gargžduose gaisras sunaikino per Antrąjį pasaulinį karą). 1928 m. birželio mėn. klaipėdiečiams parodyta J. Žilevičiaus iniciatyva Klaipėdos muzikos mokykloje pastatyta Š. Guno opera „Faustas“.

1929 m. J. Žilevičius išvyko gyventi į Jungtines Amerikos Valstijas.

Čikagoje jis įsteigė Lietuvių muzikologijos archyvą, kurio didžiąją dalį sudaro jo paties surinkta lietuvių muzikos istorijos medžiaga.

J. Žilevičiaus iniciatyva įkurta Amerikos lietuvių parapijų chorų sąjunga, surengta nemažai dainų švenčių. 1936 m. jis parašė monografiją apie Č. Sasnauską. Gyvendamas JAV, sudarinėjo ir skelbė lietuvių muzikų vardyną, sukūrė operetes „Lietuvaitė“, „Raseinių Magdė“, nemažai kantatų, simfoniją, instrumentinių pjesių, dainų, kitų muzikinių kūrinių.

Iki 1961 m. J. Žilevičius dirbo Naujojo Džersio valstijos Elizabeto bažnyčios vargonininku.