Gimė 1913 m. rugpjūčio 24 d. Ricielių kaime, Merkinės valsčiuje (dab. Lazdijų raj.). Tėvas Vincas buvo kalvis, motina – Juozapa Kučinskaitė – vargonininko duktė, turėjo skambų balsą, dainuodavo akompanuodama sau gitara. Juozas šeimoje buvo vyriausias iš aštuonių vaikų.
1921–1925 m. mokėsi Leipalingio pradžios mokykloje, 1925–1929 m. Leipalingio gimnazijoje. Būdamas keturiolikos metų pradėjo dirbti Leipalingio spirito varykloje. 1929–1931 m. mokėsi Kauno aukštesniojoje technikos mokykloje, kur įgijo spirito pramonės technologo specialybę. 1936–1937 m. tarnavo Lietuvos kariuomenėje Marijampolėje IX-ajame pulke. Vėliau iki pensijos dirbo įvairiose spirito varyklose: Paežerių spirito varykloje (Vilkaviškio r.), Jašiūnų acto gamykloje (Šalčininkų r.) ir kitur. Šalčininkų spirito kombinate J. Telešius pusseptintų metų dirbo vyriausiuoju inžinieriumi. Nuo 1932 m. gyveno Alvite (Vilkaviškio r.), 1942 m. vedė Antaniną Balevičiūtę, užaugino sūnų Eugenijų. Mirė 2001 m., palaidotas Alvito kapinėse.
Su kanklėmis susipažino pradžios mokykloje. Savarankiš¬kai išmoko kankliuoti, visą gyvenimą puoselėjo kanklių muziką. Muzikantas domėjosi istorija, kultūra, sekė kitų kanklininkų veiklą. Gyvendamas atokiame Lietuvos kampelyje J. Telešius negalėjo dalyvauti akademinių kanklių bei kankliavimo kūrime, tačiau savarankiškai išsilavinęs muzikantas sukūrė savo kankles ir individualią skambinimo techniką.
1981 m. Lietuvos valstybinės konservatorijos studentai folkloro ekspedicijos metu į magnetofono juosteles įrašė J. Telešiaus kankliavimą.