Tekoälyllä viittomakieli

Tutustu Ideapankki-palveluun osoitteessa ideapankki.csc.fi

Idea: Tekoälyllä viittomakieli

Kuvaus: Tehtäisiin tekoälyllä ohjelma, jonka voisi liittää esim. videoihin. Ts. normaalivideoon saisi mukaan animaatioviittojan, joka viittoisi puhutun asian. Toisinpäin: Viittomakielellä esitettyyn videoon voisi liittää äänen viittomasta ja/tai tekstin.

Siis sovellus, joka oppisi tulkkaamaan viittoman ääneksi ja jonka voisi helposti liittää videoon mukaan.

2020-10-22 Ehdotus idean raportoijalta (Ari Savander, HUMAK)

• ehdotuksen voi arkistoida, palataan asiaan kun saadaan teknologia ja valmiudet lisääntyvät

2019-10-11 Ideatoimikunnan kokous

• Tiedoksi uusi idea, alustajina Ari Savander ja Päivi Rainò, HUMAK
• Idea syntynyt AAPAn 20-vuotisjuhlassa tekoälyn mahdollisuuksista keskustellessa: pystyisikö sovelluksen opettamaan siten, että sovellus toimisi tulkkina?
  • Olisiko mahdollista toteuttaa kaksisuuntaisesti: puhe-viittomatulkkaukseksi / viittomatulkkaus-puheeksi?
  • Tulkki olisi hyvä saada liitettyä erilaisiin kanaviin: verkko-opetusmateriaaleihin, verkkokokouksiin, jne.
• Viittomakieli on kolmiulottesta ja aiheuttaa haasteita nykytekniikalle: pitäisi ottaa huomioon käsien liikeiden lisäksi kasvojen ja vartalon liikkeet/eleet
• Viittomakielen kielipankkeja on vähän, poikkeuksena Saksa ja Amerikka. Suomessa materiaalia on erittäin vähän
• Teeman edistämiseen on rahoituslähteitä mm. Horizon 2020 ICT 57
• Yksi mahdollisuus lähestyä ratkaisua on puheesta-tekstiksi palvelun hyödyntäminen. Tämänhetkiset ratkaisut sisältävät paljon tulkintavirheitä, joten olisi mukauduttava epätäydelliseen lopputulokseen, ks. alla 
• Idea odottaa tarkennusta mahdollisten etenemistapojen tunnistamiseksi