Synthese imaginärer Sprachprozesse aus minimal-invasiven Aufzeichnungen neuronaler Aktivität
2021
Maastricht University, Maastricht, Niederlande(1)
University of Bremen, Bremen, Deutschland(2)
University of Bremen, Bremen, Deutschland(2)
Neuroprothetische Sprachsysteme sollen Personen, die aufgrund körperlicher oder neurologischer Beeinträchtigungen nicht sprechen können, einen natürlichen Kommunikationskanal bieten. Die Echtzeitsynthese akustischer Sprache direkt aus gemessener neuronaler Aktivität könnte natürliche Unterhaltungen ermöglichen und die Lebensqualität deutlich verbessern, insbesondere für Personen, deren Kommunikationsmöglichkeiten stark eingeschränkt sind. Jüngste Fortschritte bei den Dekodierungsverfahren haben zu qualitativ hochwertigen Rekonstruktionen akustischer Sprache aus invasiv gemessener neuronaler Aktivität geführt. Die meisten bisherigen Forschungsarbeiten verwenden jedoch Daten, die bei Experimenten mit offenem Kreislauf für artikulierte Sprache gesammelt wurden, was sich möglicherweise nicht direkt auf imaginäre Sprachprozesse übertragen lässt. Hier wird ein Ansatz vorgestellt, der hörbare Sprache in Echtzeit sowohl für imaginierte als auch für geflüsterte Sprache synthetisiert. Mit einem Teilnehmer, dem stereotaktische Tiefenelektroden implantiert wurden, konnte zuverlässig hörbare Sprache in Echtzeit erzeugt werden. Die Dekodierungsmodelle stützen sich vorwiegend auf frontale Aktivität, was darauf hindeutet, dass Sprachprozesse ähnliche Repräsentationen haben, wenn sie vokalisiert, geflüstert oder imaginiert werden. Obwohl die rekonstruierten Audiodaten noch nicht verständlich sind, stellt der Ansatz der Echtzeitsynthese einen wesentlichen Schritt zur Untersuchung der Frage dar, wie Patienten lernen, eine sprachgesteuerte Neuroprothese zu bedienen, die auf imaginierter Sprache basiert.
Real-time synthesis of imagined speech processes from minimally invasive recordings of neural activity
Christian Herff(1), Miguel Angrick(2)
Eingestellt am: 01.03.2022
[1] https://www.nature.com/articles/s42003-021-02578-0
