Romos katalikų dvasininkas, kunigas, poetas, vertėjas, literatūros ir kultūros tyrinėtojas, pedagogas. Vienas iš pirmųjų poetų simbolistų.

Tėvai – Kazimieras ir Elzbieta Gustaičiai. Buvo antras vaikas šeimoje. Broliai ir seserys: Kazimieras, Juozas, Mykolas, Agota. Motiejui einant aštuntus metus, mirė jo motina. Mokėsi Aukštosios Panemunės pradinėje mokykloje, Marijampolės gimnazijoje, Seinų kunigų seminarijoje.

1887 m. kovo 11 d. Varšuvoje įšventintas į kunigus. Kunigavo Marijampolėje.

Nuo 1897 m. studijavo Rėgensburge (Vokietijoje) – bažnytinę muziką, Romoje – kanonų teisę, Freiburge – literatūros ir meno istoriją. 1903 m. apgynė daktaro disertaciją Adomo Mickevičiaus „Krymo sonetų“ tema. Vienas iš „Žiburio“ draugijos steigėjų. 1907 m. įsteigtos Marijampolės mergaičių progimnazijos direktorius.

1914 m. lankėsi Amerikoje, rinko aukas „Žiburio“ draugijai. Pirmojo pasaulinio karo metais kartu su progimnazija pasitraukė į Rusiją.

1918 m. grįžo į Lietuvą, paskirtas Seinų „Žiburio“ gimnazijos direktoriumi. Lenkams užėmus Seinus, 1920 m. gimnazija perkelta į Lazdijus. Lazdijuose gyveno iki mirties, toliau ėjo gimnazijos direktoriaus pareigas. Jo dėka gimnazijai nupirktas namas su žemės sklypu, įsteigti moksleivių bendrabučiai, valgykla.

Parašė pirmąjį lietuvišką literatūros teorijos vadovėlį „Stilistika“ (1923 m.).