Juozapas Jonas Skvireckas gimė 1873 m. rugsėjo 18 d. Rimkūnų k., Pumpėnų parapijoje, Panevėžio apskrityje.

1885–1892 m. mokėsi Panevėžio realinėje gimnazijoje, baigė ją su pagyrimu. 1892–1896 m. studijavo Žemaičių dvasinėje seminarijoje. Vadovybės buvo pasiųstas tęsti studijų Sankt Peterburgo imperatoriškoje katalikų dvasinėje seminarijoje. Ten 1900 m. įgijo teologijos kandidato laipsnį. 1899 m. įšventintas kunigu. 1900 m. apgynė teologijos magistro laipsnį.
Trumpai pabuvęs vikaru, paskirtas dirbti Žemaičių kunigų seminarijoje. Iš profesoriaus A. Dambrausko-Jakšto 1901 m. perėmė Šventojo Rašto katedrą ir pradėjo dėstyti Šventojo Rašto įvadą, Senojo ir Naujojo Testamento egzegezę, lotynų kalbą ir katekizmą. 1909 m. seminarijoje paskirtas prefektu, po dvejų metų pakeltas Žemaičių vyskupijos kapitulos kanauninku.
1902 m. mirus vyskupui A. Baranauskui, pradėjusiam versti Šventąjį Raštą į lietuvių kalbą, J. J. Skvireckui teko imtis vertimo kaip geriausiam šios srities specialistui Lietuvoje. 1906 m. išspausdinta vertimo dalis – Evangelija ir Apaštalų darbai. 1913–1914 m. J. J. Skvireckas ėjo naujo periodinio leidinio Lietuvos kunigams „Bažnytinė apžvalga“ redaktoriaus pareigas.
1919 m. kovo 10 d. popiežius Benediktas XV kunigą J. J. Skvirecką nominavo Ceramo tituliniu vyskupu ir paskyrė Žemaičių vyskupo pagalbininku. 1919 m. liepos 13 d. Kauno katedroje iškilminga vyskupo konsekracija buvo pirmoji nepriklausomoje Lietuvoje. Konsekravo Seinų vyskupas A. Karosas. 1919–1926 m. buvo Žemaičių vyskupijos ganytojo pagalbininkas ir generalinis vikaras. Aktyviai įsitraukė į katalikų aukštojo mokslo institucijų kūrimą, buvo vienas Lietuvos katalikų mokslo akademijos iniciatorių ir vadovų (iki 1926 m.).
1925 m. prisidėjo prie Lietuvos bažnytinės provincijos struktūros rengimo. 1926 m. balandžio 5 d. paskirtas Kauno arkivyskupu metropolitu vadovauti Kauno metropolijai. Trečiojo dešimtmečio pabaigoje Bažnyčios ir tautininkų valdžios santykiuose atsiradus įtampai, arkivyskupas J. Skvireckas stengėsi išsaugoti Lietuvos konkordatą su Šventuoju Sostu.
1940 m. Sovietų Sąjungai okupavus Lietuvą, laikėsi visiško nebendradarbiavimo su sovietais nuostatos. Jo vadovavimo metu buvo ginamos Bažnyčios teisės, remiami okupacinės valdžios naikinami žydai.
1944 m. besitraukiančių vokiečių buvo priverstas išvykti į Vakarus. 1944 m. jis ir kiti ten pasitraukę Lietuvos ganytojai paprašė Šventąjį Tėvą paskelbti šv. Kazimierą ypatingu Lietuvos jaunimo globėju sustiprinant sovietinio ateizmo persekiojamą lietuvių jaunimą. Tremtyje saugojo 1948 m. birželio 11 d. popiežiaus Pijaus XII paskelbtą bulę, tik gerokai vėliau pasiekusią Lietuvą.
1945 m. įsikūrė Šv. Vincento seserų vienuolyne Zamse (Austrija) ir toliau stengėsi dalyvauti Bažnyčios gyvenime: susirašinėjo su Apaštalų Sostu, rūpinosi Lietuvių kolegijos Romoje steigimu ir veikla, rašė pastoracinius laiškus pasitraukusiems tautiečiams. Lankėsi Romoje, norėdamas informuoti Apaštalų Sostą apie Bažnyčios padėtį Lietuvoje bei katalikų rūpesčius išeivijoje. 1959 m. gruodžio 3 d. mirė Zamse ir buvo palaidotas vienuolyno koplyčioje.
1998 m. lapkričio 25 d. arkivyskupo palaikai pergabenti į Lietuvą, lapkričio 28 d. palaidoti Kauno arkikatedros kriptoje.
Šventojo Rašto vertimas iš lotynų į lietuvių kalbą – vienas reikšmingiausių arkivyskupo J. Skvirecko darbų. 1911–1937 m. Kaune šešiais tomais išleistas visas jo išverstas Šventasis Raštas. 1955–1958 m. Romoje išleistas jo paties pataisytas viso Šventojo Rašto vertimas.