Challenge

Herkömmliche Spracherkennungssysteme sind komplex und erfordern viel menschliches Fachwissen, um die verschiedenen Komponenten wie akustische Modelle und Sprachmodelle zu integrieren. Diese Systeme sind schwer zu optimieren und anzupassen, besonders wenn domänenspezifisches Wissen eingebunden werden soll. Unser Ziel war es, diese Herausforderungen zu überwinden und ein System zu entwickeln, das artikulatorische Merkmale effektiv in die Spracherkennung integriert, um die Genauigkeit und Anpassungsfähigkeit zu verbessern.

Lösung

Unser Projekt kombiniert artikulatorische Merkmale mit End-to-End-Spracherkennung durch zwei innovative Ansätze: Fine-Tuning-Netzwerke und progressive Netzwerke. Diese Methoden nutzen tiefes Lernen, um artikulatorische Informationen in die Spracherkennung zu integrieren und so die Genauigkeit und Effizienz der Modelle zu erhöhen. Diese Technologie kann in Sprachassistenzsystemen und Spracherkennungslösungen für verschiedene Branchen eingesetzt werden, um die Genauigkeit und Anpassungsfähigkeit zu verbessern.

Benefits
  • Reduzierung der Wortfehlerrate (WER)
    Unser fortschrittliches Netzwerk erzielte eine beeindruckende Reduktion der WER auf 28,6% gegenüber 32,4% der Basislinie, was die Erkennungsgenauigkeit erheblich verbessert.
  • Effektive Nutzung artikulatorischer Merkmale
    Unsere Modelle konnten artikulatorische Merkmale robust aus Sprachsignalen extrahieren, was die Leistung in variierenden Sprachstilen und -bedingungen verbessert.
  • Verbesserte Modellleistung
    Durch die Kombination von tiefen Fine-Tuning-Netzwerken mit fünf Schichten der AF-Extraktoren erzielten wir eine bessere WER von 31,6% im Vergleich zur Basislinie.
  • Reduktion der Trainingskomplexität
    Die Verwendung von CTC und die Eliminierung der Notwendigkeit präziser Ausrichtungsinformationen ermöglichten ein effizientes und schnelles Training unserer Modelle.
  • Robustheit gegenüber variierenden Sprachstilen
    Die Integration artikulatorischer Merkmale hilft, die Variabilität in der Sprachproduktion, wie Koartikulation und unterschiedliche Sprechstile, besser zu bewältigen, was zu einer robusteren Leistung führt.

Diese Lösung ist ideal für den Einsatz in Sprachassistenzsystemen und Spracherkennungslösungen, um die Genauigkeit und Anpassungsfähigkeit zu verbessern.