Ученые превращают сканирование мозга в интеллектуальную речь с помощью нейронной сети

Стивен Хокинг был, пожалуй, самым известным пользователем «синтезатора речи» «вокодера», но он был не одинок. Люди во всем мире не могут говорить сами по себе, но наука, возможно, приближается к точке, когда они могут превратить свои внутренние мысли в речь без утомительного набора текста или щелчка. Команда из лаборатории нейроакустической обработки в Колумбийском университете разработала модель искусственного интеллекта, которая может превратить сканирование мозга в понятную речь.

Исследование объединяет несколько достижений в машинном обучении, чтобы интерпретировать паттерны активности в мозге, чтобы выяснить, что кто-то хочет сказать, даже если он физически не способен шуметь. Это не машина для чтения мыслей - сигналы поступают из слуховой коры, где ваш мозг обрабатывает речь. Таким образом, он может понимать реальную речь, а не так называемую «воображаемую речь», которая может хранить ваши самые глубокие, самые темные секреты.

Технология все еще находится в стадии разработки; скорее доказательство концепции, чем то, что вы можете подключить к своей голове. В исследовании использовались нейронные сигналы, записанные с поверхности головного мозга во время операции по эпилепсии, процесс, называемый инвазивной электрокортикографией (ECoG). Исследователи во главе с Нимой Месгарани использовали пациентов с эпилепсией, потому что им часто приходится подвергаться операции на головном мозге, которая включает неврологическое тестирование.

Исследователи регистрировали активность мозга, в то время как испытуемые слушали, как люди произносят избранные слова, такие как цифры от нуля до девяти. Это важно, потому что у каждого разные мозговые волны при обработке речи. Итак, Месгарани и команда обучили нейронную сеть, которая была специфична для каждого пациента. У них было только 30 минут данных, что ограничивает эффективность модели. Результаты все еще впечатляющие. Команда заполнила необработанные сканы ECoG, и сеть генерировала речь с помощью вокодера. Вы можете прослушать образец моделей здесь. Существует четыре модели, последняя из которых должна быть максимально реалистичной.

Все это немного роботизировано, и первые несколько цифр трудно разобрать. Тем не менее, команда говорит, что около трех четвертей опрошенных смогли понять выход вокодера. Чтобы сделать нейронные сети лучше, вам нужно больше данных. Сбор пользовательских данных о мозговых волнах от каждого с помощью инвазивной электрокортикографии не совсем практичен. Однажды мы могли бы найти некоторую общность, которая делает трансляцию мозговых волн универсальной, такой как распознавание речи. Но на данный момент это впечатляющий, хотя и непрактичный первый шаг.

Читать далее

II Discovery может улучшить обработку травм спинного мозга

Стабилизация определенных ферментов, по-видимому, разрушает рубцовую ткань, что позволяет нервной систему свободно общаться.

Полностью парализованный пациент ALS использует мозговой имплантат для общения со словами

Пациент не потерял времени, рассказываю его сыну, он любил его - и просил пиво.

Новый мозговой имплантат меняет симптомы Паркинсона

Первый пациент, получивший имплантат, говорит, что влияние было «удивительным».

Проведение времени в космосе может навсегда изменить мозг астронавтов

Новый анализ астронавтов из Орегонского университета здравоохранения и науки показывает, что их мозг переживают структурные изменения от воздействия микрогравитации, и эти изменения могут сохраняться еще долго после того, как они вернутся на Землю. Тем не менее, может быть предел того, насколько мозг может измениться.