Google Neural Network может изолировать отдельные голоса в видео

Кровящая кромка информатики в наши дни связана с тем, что компьютеры больше похожи на людей. Мы используем нейронные сети, чтобы помочь машинам распознавать объекты, играть в игры и даже говорить более реалистично. В новом мастере машинного обучения Google Research разработала систему, которая может воспроизвести «эффект коктейля», где ваш мозг фокусируется на одном источнике звука в переполненном помещении. Результаты впечатляют - это почти тревожно.

Google называет эту технику «Looking to Listen», потому что она наблюдает за видео с несколькими динамиками, чтобы разделить звук - он использует как слуховые, так и визуальные сигналы, как и ваш мозг. В этих видео также нет ничего особенного. Это просто видео с одной звуковой дорожкой, состоящей из нескольких человек.

Чтобы создать инструмент, способный на это, Google начал с 100 000 образцов высококачественных лекций и переговоров с YouTube. Инженеры нарезали видео, чтобы получить сегменты чистой речи с четко видимыми динамиками и фоновым шумом. Это оставило Google Research с 2000 часами видео, состоящим из одного человека, говорящего (они называют это набором данных AVSpeech). Трюк использовал эти чистые образцы для создания «поддельных» коктейльных вечеринок. Исследователи объединили видео, поэтому говорили несколько человек. Это данные, которые Google использовал для обучения нейронной сети.

Как и многие другие прорывы Google Research, в этом была использована сверточная нейронная сеть. Вход в сеть состоит из визуальных функций динамиков, а также спектрограммы саундтрека к видео. При обработке видео сеть узнает, как разделить видео на «частотную маску» для каждого динамика. Маска вывода согласовывается с аудио-спектральным входом для генерации отдельных звуковых дорожек.

После тренировки Google развязал сеть на новых видео. Как вы можете видеть в примерах Google, это работает на удивление хорошо. Модель Look To Listen может определить, какой звук поступает от динамика, и отфильтровывать все остальное. Эта технология может иметь приложения для видеоконференций, слуховых аппаратов и видеонаблюдения.

В этом последнем пункте эта технология может быть настолько мощной, что нетрудно представить сценарии, где это злоупотребление. С будущими улучшениями скорости и точности наблюдатель мог бы выбрать ваш голос на переполненной улице, чтобы узнать, что вы сказали. Нет никаких указаний, что у Google есть намерение сделать это, но он не одинок в области исследований нейронной сети.

Читать далее

Посмотрите вверх: сегодня вечером вы можете увидеть все планеты в нашей солнечной системе

Вы, наверное, видели схемы Солнечной системы, на которых планеты расположены красивыми, упорядоченными линиями, но на самом деле они часто находятся по ту сторону Солнца от Земли. Мы переживаем период, когда все планеты видны. Просто нужно знать, где и когда смотреть.

Samsung представит семейство S21 в распакованном виде 14 января

Среди новых устройств будет Galaxy S21 Ultra с новой поддержкой S Pen, но нам не нужно ждать, чтобы увидеть, как это будет работать. Есть утечка, которая раскрывает новый S Pen и неуклюжие футляры к нему.

Nvidia анонсирует видеокарту RTX 3060, запуск которой состоится в феврале по цене 329 долларов

Новые видеокарты RTX 3000 от Nvidia представляют собой значительное улучшение по сравнению с картами RTX последнего поколения, но поиск новейших и лучших может быть проблемой. Предложение может немного снизиться в следующем месяце с запуском последнего графического процессора Nvidia, RTX 3060.

Как повысить производительность старых видеокарт

Поскольку коронавирус разрушает мировую экономику, вы, вероятно, не планируете в ближайшем будущем серьезное обновление графического процессора. Если вы застряли дома на старом оборудовании и вам нужно сэкономить свои копейки, это руководство может помочь вам выжать немного больше производительности из старой видеокарты.