Ученые превращают сканирование мозга в интеллектуальную речь с помощью нейронной сети
Стивен Хокинг был, пожалуй, самым известным пользователем «синтезатора речи» «вокодера», но он был не одинок. Люди во всем мире не могут говорить сами по себе, но наука, возможно, приближается к точке, когда они могут превратить свои внутренние мысли в речь без утомительного набора текста или щелчка. Команда из лаборатории нейроакустической обработки в Колумбийском университете разработала модель искусственного интеллекта, которая может превратить сканирование мозга в понятную речь.
Исследование объединяет несколько достижений в машинном обучении, чтобы интерпретировать паттерны активности в мозге, чтобы выяснить, что кто-то хочет сказать, даже если он физически не способен шуметь. Это не машина для чтения мыслей - сигналы поступают из слуховой коры, где ваш мозг обрабатывает речь. Таким образом, он может понимать реальную речь, а не так называемую «воображаемую речь», которая может хранить ваши самые глубокие, самые темные секреты.
Технология все еще находится в стадии разработки; скорее доказательство концепции, чем то, что вы можете подключить к своей голове. В исследовании использовались нейронные сигналы, записанные с поверхности головного мозга во время операции по эпилепсии, процесс, называемый инвазивной электрокортикографией (ECoG). Исследователи во главе с Нимой Месгарани использовали пациентов с эпилепсией, потому что им часто приходится подвергаться операции на головном мозге, которая включает неврологическое тестирование.
Исследователи регистрировали активность мозга, в то время как испытуемые слушали, как люди произносят избранные слова, такие как цифры от нуля до девяти. Это важно, потому что у каждого разные мозговые волны при обработке речи. Итак, Месгарани и команда обучили нейронную сеть, которая была специфична для каждого пациента. У них было только 30 минут данных, что ограничивает эффективность модели. Результаты все еще впечатляющие. Команда заполнила необработанные сканы ECoG, и сеть генерировала речь с помощью вокодера. Вы можете прослушать образец моделей здесь. Существует четыре модели, последняя из которых должна быть максимально реалистичной.
Все это немного роботизировано, и первые несколько цифр трудно разобрать. Тем не менее, команда говорит, что около трех четвертей опрошенных смогли понять выход вокодера. Чтобы сделать нейронные сети лучше, вам нужно больше данных. Сбор пользовательских данных о мозговых волнах от каждого с помощью инвазивной электрокортикографии не совсем практичен. Однажды мы могли бы найти некоторую общность, которая делает трансляцию мозговых волн универсальной, такой как распознавание речи. Но на данный момент это впечатляющий, хотя и непрактичный первый шаг.
Читать далее
Samsung, Стэнфорд, создали дисплей с разрешением 10000 пикселей на дюйм, который может революционизировать VR и
Спросите любого, кто провел в гарнитуре VR более нескольких минут, и они отметят эффект дверного экрана. Это могло бы устранить его навсегда.
НАСА: астероид все еще может поразить Землю в 2068 году
Согласно новому анализу Гавайского университета и Лаборатории реактивного движения НАСА, этот астероид размером с небоскреб все еще может столкнуться с Землей в 2068 году.
Новая серия AMD Radeon RX 6000 оптимизирована для борьбы с амперами
AMD представила серию RX 6000 сегодня. Впервые с момента покупки ATI в 2006 году использование графических процессоров AMD на платформах AMD даст определенные преимущества.
Зонд "Вояджер-2" ведет переговоры с модернизированной сетью НАСА после 8 месяцев молчания
НАСА только что поздоровалось с "Вояджером-2", и зонд сказал это в ответ.