Google нейронна мережа може виділяти індивідуальні голоси у відео

Google нейронна мережа може виділяти індивідуальні голоси у відео

Кров'янистий край інформатики в наші дні полягає у тому, щоб зробити комп'ютери більш схожими на людей. Ми використовуємо нейронні мережі, щоб допомогти машинам розпізнавати об'єкти, грати в ігри та навіть говорити більш реально. У рамках нового подвигу машинознавчої магії, Google Research розробила систему, яка може відтворити "ефект коктейль-партії", де ваш мозок фокусується на одному аудіо-джерелі в тісній кімнаті. Результати є вражаючими - це майже турбує так.

Google називає цю техніку "Looking to listen", оскільки вона дивиться відео з кількома динаміками, щоб розбити звук - він використовує як слухові, так і візуальні сигнали, як і ваш мозок. Також немає нічого особливого щодо цих відеороликів. Це лише відео з однією звуковою доріжкою, що складається з більш ніж однієї людини.

Google нейронна мережа може виділяти індивідуальні голоси у відео

Щоб створити інструмент для цього, Google почав з 100 000 зразків якісних лекцій та переговорів з YouTube. Інженери рубали відео, щоб отримати сегменти чистої мови з чітко вираженими динаміками та відсутності фонового шуму. Це дало Google Research 2 000 годин відео, що складається з однієї особи, яка виступає (вони називають це набором даних AVSpeech). Хитрість полягала у використанні цих чистих зразків для створення "підроблених" коктейльних вечірок. Дослідники об'єднали відео, тому кілька людей говорили. Це дані, які Google використовувала для навчання нейронної мережі.

Як і багато інших досягнень Google Research, у цьому використовувалася сверточная нейронна мережа. Вхід до мережі складається з візуальних особливостей динаміків, а також спектрограми звукової доріжки відео. Під час обробки відео мережа дізнається, як розділити відеозапис на "частотну маску часу" для кожного динаміка. Вихідна маска узгоджується з спектрограмою аудіовходу, щоб генерувати окремі звукові доріжки.

Після завершення навчання Google розгорнула мережу на нових відео. Як ви можете бачити на прикладах Google, це працює надзвичайно добре. Модель «Шукаю слухати» може визначити, який звук походить від динаміка, і відфільтровувати все інше. Ця технологія може мати програми для відеоконференцій, слухових апаратів та відеоспостереження.

На останньому пункті ця технологія може бути настільки потужною, що неважко уявити сценарії, де його зловживають. Завдяки швидким і точно визначеним покращенням, спостерігач міг вибрати ваш голос на переповненій вулиці, щоб дізнатись, що ви сказали. Немає жодних ознак того, що Google не має наміру робити це, але це не єдине під час дослідження нейронних мереж.

Читати далі

Samsung оголосить Galaxy S9 на Світовому конгресі мобільних телефонів у лютому

Попередні чутки вказали на несподівану Galaxy S9, що з'явилася на CES, яка зараз триває. Тим не менш, Samsung знаходиться під рукою не з гарячо очікуваним новим телефоном Galaxy, але з телевізором, розумними домашніми пристроями та побутовими приладами - безліч побутових приладів.

Samsung оголошує про швидкісний прорив HBM2, Codenamed Aquabolt

Samsung знайшов спосіб швидко збільшити швидкість на HBM2, не потребуючи збільшення напруги. Чи може це бути переломним для стандарту?

Microsoft оголошує про нові інструменти конфіденційності даних для Windows 10

Незабаром ви зможете побачити діагностичні дані, які корпорація Майкрософт збирає з Windows і що вона робить з ним.

На сьогоднішній день приголомшливо відмінний чинник-нейтралітет висвітлюється Burger King

Burger King - так, Burger King - зробив гарненький хороший відеоролик, щоб пояснити, чим є мережевий нейтралітет, чому це важливо, і чому FCC, вбиваючи його минулого місяця, є втратою для американців.