Gydytojas, chirurgas, Lietuvos kariuomenės sanitarijos pulkininkas.

Mokėsi Palangos progimnazijoje, 1910 m. baigė Liepojos gimnaziją, įstojo į Petrapilio karo medicinos akademiją.

1914 m. mobilizuotas į Rusijos kariuomenę jaunesniuoju gydytoju. Pirmojo pasaulinio karo metu fronte buvo sužeistas. 1918 m. išlaikė valstybinius gydytojo egzaminus Charkovo universiteto Medicinos fakultete. Tais pat metais grįžo į Lietuvą, dirbo Jurbarko ligoninės vedėju.

Nuo 1919 m. rugpjūčio pradėjo dirbti Kauno valstybinės ligoninės Chirurgijos skyriaus vedėju. 1919 m. išrinktas pirmuoju žurnalo „Medicina" redaktoriumi. 1920 m. jis daug prisidėjo organizuodamas Aukštuosius kursus Kaune. Kursų Medicinos skyriuje dėstė chirurgiją. Nuo 1922 m. iki 1935 m. rugsėjo 1 d. dirbo Kauno karo ligoninės Chirurgijos skyriaus vedėju. Nuo 1935 m. rugsėjo iki 1939 m. balandžio dirbo Klaipėdos Raudonojo Kryžiaus ligoninės Chirurginio skyriaus vedėju. 1939 m. balandžio 27 d. vėl mobilizuotas į Lietuvos kariuomenę, grįžo dirbti į Kauno karo ligoninę chirurgijos skyriaus konsultantu. Nuo 1941 m. dirbo Panevėžio apskrities ligoninės vedėju ir chirurginio skyriaus vedėju. 1941 m. birželio 26 d. besitraukiančių sovietinių okupantų apkaltintas ir su kitais dviem Panevėžio apskrities ligoninės gydytojais nužudytas NKVD Panevėžio būstinės rūsyje. Nužudytų gydytojų kūnai rasti Vokietijos kariuomenei 1941 m. birželio 27 d. užėmus Panevėžį. Gydytojų palaikai palaidoti birželio 29 d. Panevėžio apskrities ligoninės kieme 1943 m. rugsėjo 19 d. atidengtas skulptoriaus B.Bučo paminklas nužudytiems gydytojams.

Juozas Žemgulys parašė medicinos knygas: „Trumpas karo lauko chirurgijos vadovėlis" (1932 m.), „Karo sanitarijos tarnyba divizijos skaidinyje" (1929 m.), skelbė straipsnius chirurgijos tematika. Aktyviai dalyvavo Lietuvos šaulių sąjungos veikloje.