Lebenslauf / Ausbildung an der Uni / Seminararbeiten / Modality Integration: Speech and Gesture

Modality Integration: Speech and Gesture

2. Forschungsansätze der Sprach- und der Gestenerkennung

Seit den sechziger Jahren wird in verschiedenen Firmen intensiv an Spracherkennungs-Systemen geforscht und entwickelt. Bis zum Beginn der achtziger Jahre reichten das Wissen und die technischen Möglichkeiten allerdings gerade aus, um Systeme zu konstruieren, die maximal einige hundert Einzelwörter erkennen konnten. Danach setzte sich die Entwicklung allerdings rasant fort. So verkauft zum Beispiel IBM schon seit 1995 seine Spracherkennungssoftware „VoiceType“. Die Gestenerkennung wurde erst im Rahmen der Erforschung von Spracherkennungssystemen als wichtige zusätzliche Eingabeform entdeckt, da sich der Mensch natürlicherweise nicht nur durch das gesprochene Wort, sondern auch durch Mimik und Gestik ausdrückt.

Der Ablauf sowohl von Sprach- als auch Gestenerkennung kann allgemein in drei Phasen unterteilt werden:

• Aufnahme: Die Kommunikationsinformation wird sensortechnisch, für eine digitale Weiterverarbeitung erfasst. Hier ist für Sprach- und Gestenerkennung unterschiedliche Ausrüstung erforderlich.
• Auswertung: Der aufgenommene Datenstrom wird mittels Software ausgewertet. Sowohl bei der Sprach- als auch bei der Gestenerkennung finden ähnliche Verfahren ihre Anwendung.
• Interpretation: Die ausgewertete Information muss nun interpretiert werden. Grundsätzlich gibt es für Sprach- und Gestenerkennung die Möglichkeit beide Modalitäten getrennt oder auch in Kombination zu interpretieren.