– Расшифровка мозговой активности в реальном времени уже использовалась для декодирования отдельных звуков, но мы впервые использовали этот подход для идентификации произнесенных слов и фраз, – говорит соавтор исследования Дэвид Мозес.
Чтобы измерить активность мозга, в него вживляются электроды. В исследовании участвовали три добровольца-пациента с эпилепсией, которым перед плановой операцией все равно должны были имплантировать в мозг электроды для определения областей поражения мозга.
Участникам задали серию простых вопросов. Например: «Как вы оцениваете свое самочувствие по шкале от 0 до 10?». При этом респонденты вслух проговаривали ответы, выбранные из заранее составленного списка. Со временем алгоритм научился угадывать ответы по их мозговой активности.
Ученые подчеркивают, что алгоритм также учитывал заданный вопрос.
– Большинство предыдущих подходов были сосредоточены только на декодировании речи, но здесь мы подтвердили важность понимания двух сторон диалога - как вопросов, так и ответов, – говорит речевой нейробиолог Эдди Чанг.
Кроме того, предыдущие исследования были сосредоточены на поиске соответствий между мозговыми импульсами и звуками речи, но Чанг и его коллеги пошли другим путем, решив отслеживать сигналы не тех областей мозга, которые отвечают за распознавание речи, а тех, которые координируют сам речевой аппарат. Алгоритм машинного обучения сопоставляет паттерны электрической активности в мозге с речевыми движениями, такими как сжатие губ, напряжение голосовых связок, смещение кончика языка у небу и т.д.
В перспективе такая технология поможет создать синтезаторы речи для людей, потерявших голос из-за паралича, рака горла или болезни Паркинсона. Ученые подчеркивают, что программа читает не все мысли подряд, а только те, которые человек четко и уверенно проговаривает в уме. Таким образом, пациентам не стоит опасаться, что программа случайно разболтает их секреты.