Kilęs iš karališkųjų valstiečių.

Baigęs Anykščių pradžios mokyklą ir Rumšiškių raštininkų mokyklą, 1853–1856 m. dirbo Vainuto, Raseinių, Sedos, Skuodo valsčių raštinėse.

Sedoje susipažino su poete K. Praniauskaite, kuri paskatino jį kurti.

1856–1858 m. mokėsi Varnių kunigų seminarijoje. 1862 m. baigęs Sankt Peterburgo dvasinę akademiją, 1863–1864 m. tęsė teologijos studijas Miuncheno, Romos, Leuveno universitetuose.

1866–1884 m. Kauno kunigų seminarijoje dėstė moralinę teologiją ir homiletiką, nuo 1871 m. lietuvių kalbą.

Nuo 1885 m. Žemaičių pavyskupis, nuo 1897 m. Seinų vyskupas.

A. Baranauskas gynė Katalikų bažnyčios teises, priešinosi rusinimui. Palaikė ryšius su aušrininkais, vėliau nuo visuomeninės veiklos atitotlo.

Seinuose pirmasis pradėjo sakyti pamokslus lietuvių kalba.

Sukūrė, išvertė iš lotynų ir lenkų kalbų religinių giesmių (ciklas „Artojų giesmės šventos“, 1860; rinkinys „Graudūs verksmai“, 1898).

1849 m. pradėjo rašyti lenkiškus, 1853 m. – lietuviškus eilėraščius. A. Baranausko kūryba davė pradžią lietuvių romantinei lyrinei poezijai. Svarbiausias kūrinys – „Anykščių šilelis“ (parašytas 1858–1859, išspausdintas 1860–1861 Jurkšto Smalaūsio slapyvardžiu).

A. Baranauskas taip pat padėjo pagrindus lietuvių dialektologijai. Sukaupė tarminės medžiagos, sudarė pirmąją lietuvių kalbos tarmių klasifikaciją.

Išvertė A. Schleicherio lietuvių kalbos gramatiką, parašė gramatiką „Kalbamokslis lietuviškos kalbos“, sukūrė kalbotyrros terminų, originalią bendrinę rašybą.

Rinko lietuvių tautosaką, užrašė dainų melodijų. Domėjosi matematika, tyrė pirminių skaičių savybes.