wfoojjaec пояснює: що таке нейронна сітка?

Оскільки закон Мура підходить до її кінця, техносфера подивилася на різні та різноманітні підходи до обчислення. Ми не можемо просто залежати від водіння годинників швидкості вище і вище. Ми не можемо продовжувати робити транзистори дедалі меншими. Але порівняння рясніть між комп'ютерами та людським мозком. Зрештою, це все про обчислювальну силу, і це одна область, де наші мозок все ще краще, ніж комп'ютери. Отже, дослідники почали розробляти комп'ютерні системи, які виглядають та діяти більше як мізки. Ми називаємо ці системи нейроморфними системами, нейронними мережами або просто нервовими сітками.

Оскільки ми збільшуємо наше розуміння людського коннектора, наша здатність розуміти феноменальну інформаційну інформацію про мозок зростає в тандемі. Тепер ми маємо часткову мережеву діаграму людського мозку. Отже, у популярності вибухнули нейроморфні обчислювальні інструменти. Як і ми передбачали ще в 2016 році, штучний інтелект (А.І.) живить поточну технологічну революцію в охороні здоров'я людини. Схоже, що нервові мережі можуть бути наступним кордоном у просуванні обчислювальних технологій в цілому.

Цей посібник призначений для короткого, але ретельного грунту на нейронних мережах. Якщо ви залишитесь з питаннями після читання, повідомте нас у коментарях: ми можемо вирішити ваші запитання в оновленні або майбутній статті.

Отже, без подальшого ...

Що таке нейронна мережа?

Нейронна мережа, також відома як нейроморфна система, є системою апаратного та / або програмного забезпечення, яке емулює деякий аспект мозку. Neural Nets зазвичай розробляють на трьох основних компонентах: нейронна мережа - це система нейронів або вузлів, а також їх зв'язків та ваг. Він також повинен мати певну функцію розповсюдження. Деякі нейронні мережі здатні дотримуватися своїх власних результатів, а також змінювати свій підхід до завдання.

Чому імітувати мозок?

Є дві великі причини вибирати мозок як шаблон для обробки інформації. По-перше, мізки та комп'ютери вже схожі на багато способів. Наприклад, мізки та комп'ютери є обома сітчастими мережами декількох шарів, відповідальних за обробку високому обсягу. Вони обидва мають робочу пам'ять, чий буфер може затягнути або переповнити. Вони обидва мають "холодне зберігання" - мозок організовує інформацію в грубому семантичній ієрархії по всій поверхні мозку, подібного до того, як жорсткий диск зберігає дані в різних місцях на його блюді. І обидва вони складаються з мережі вузлів, важливість яких індивідуально виражається "вагами" своїх зв'язків. Їх вузли спілкуються за допомогою серії електричних шипів, що мають дані, вбудовані в послідовність.

По-друге, мозок дійсно добре, що вони роблять. Вони швидко, легкі та дуже низькі. Людський мозок вважається, що пропускна спроможність Petascale - набагато більше, ніж будь-який єдиний ПК, який ми коли-небудь побудували. (Розподілені суперкомп'ютери не підраховують.) Вони також ефективні: людський мозок працює близько двадцяти Вт.

Джек всіх торгів, магістр багатьох

Ця виграшна комбінація частково через фізичну структуру мозку, і частково через унікальну інформацію проїзду через нервову систему. Мозок працюють послідовно і паралельно, бінарний та аналог, все одночасно. Коли нейрони вогонь, ці імпульси подорожують вниз по аксонів послідовно. Але нейрони розташовані в кортикальних колонках, а кортикальні стовпці розташовані в областях головного мозку. Таким чином, цілі райони мозку багатьох клітин можуть працювати на тому ж завданні, паралельно.

Нейрони сильно двійкові, коли мова йде про те, як вони передають свої повідомлення. Сигнал нейрона виконаний з електричних шипів, організованих у часовому домені. Нейрон або шипа, або це не так. (Частота змінюється, але амплітуда не робить, як і FM-радіо.) Спайки складаються з крихітної подорожі ZAP. Потяги Spike - це часові послідовності електричних хвиль, що містять фрагменти даних. Це майже як приймач коду Морзе. Але нейрони також виконують аналогові поглинання, натиснувши всі перекриття, в реальному часі мерехтіння вводу з дендритів. Це як фізіологічний перетворення Фур'є.

Нейрони спілкуються один з одним, отримуючи, тлумачить, а потім розмножуючи крихітну хвилю електроенергії довжиною аксона. Це надзвичайно низька потужність, тому що це мало шипіння деполяризації через мембрану виконується просто співпрацюючи з електрохімічним градієнтом за межами клітини. Кортичні нейрони, зокрема, мають глибоко розгалужену структуру. Вони підключаються в "багато-на-одному" моді для своїх сусідів, які фізично поруч з ними, і до "вгору" нейронів, які приходять перед ними в інформаційному потоці. Вони також підключаються в "один-до-багатьох", коли спілкуються з головою колег. Щоб керувати всіма цими поверхнями, вони аналізують "вагу" зв'язків у порядку важливості будувати синапси.

Нейроморфне обладнання

Нейроморфні чіпси підходять до функції мозку як виникнення властивості його фізичної структури. Але нейрони в нейроморфних апаратних засобах не такі ж, як нейрони в мозку. Один нейрон не такий же, як один транзистор. Замість цього, апаратний нейрон виготовлений з багатьох транзисторів, таких як біологічний нейрон має багато портів у клітинній мембрані.

Truenorth

Truenorth IBM, виготовлений у 2014 році, був безлічкорідний нейроморфний CMOS-чіп, що ховає з конволюційної нервової мережі. Truenorth мав свою власну програмну екосистему, в тому числі за допомогою мови програмування, бібліотеки та цілого IDE.

Логічний

Ecosystem Intel Loihi включає апаратне нейронну мережу та пов'язану з ним програмне забезпечення. В даний час ми знаходимося на другому поколінні Loihi, нейроморфного чіпа. Лава - це шлях доступу до програмного забезпечення до сил Loihi.

Хоча це робиться з використанням звичайних напівпровідникових матеріалів і буде виготовлено в майбутньому на технологічному вузлі Intel 4, Loihi організовується дуже по-різному, ніж кремній, який ми всі звикли. Фізична архітектура Loihi імітує фізичну організацію мозку, але за меншим масштабом. Чіп має до мільйона нейронів: окремих об'єктів у мережі, кожна з яких прикріплена 128 Кб пам'яті. Цей пул інформації - це аналог чіпа для синапсів; Це відображає стан зв'язності нейронів у будь-який час. Він контролюється сусідніми ядрами x86, які накладають зовнішній годинник, щоб виправити ритми стрільби нейронів. Сердечники керівників також періодично змушують нейрони перевіряти свою пам'ять проти решти групи, або перерахувати силу своїх зв'язків.

Ця структура відповідає ієрархічним та паралельним аспектам організації мозку. Крім того, Loihi 2 переглянув свій підхід до стрільби. Loihi 1 вистрілив свої нейрони у бінарні: один або нуль, нічого між ними. Але Loihi 2 кодує свої шипи, як цілі числа, що дозволяє шипам носити метадані. Шипки з цілими значеннями можуть емулювати каталог різних електрохімічних сигналів, нейрон може надсилати або отримувати. Крім того, нейрони, ближче до вхідного шару, можуть вплинути на нейрони вниз по течії.

Розробники можуть інтерфейс з Loihi та Lava за допомогою Python. (Це починає звучати як досить тропічну пригоду.) Система Loihi в кінцевому підсумку буде доступною для дослідників, але споживчі програми є низьким пріоритетом.

Основні види нервових мереж

Нервові сітки, з їхніми шарами та надмірностями, Excel при обробці високо паралельних завдань. Вони також допомагають у завданні, які вимагають, щоб користувач приймає величезну кількість даних, щоб визначити візерунки в ньому - це часто називають "пиття з вогля". Щоб отримати переваги великих даних, ми повинні мати можливість обробляти його за допомогою корисної швидкості. Neural Nets також Excel при маніпуляціях даних з метаданими або багатьма розмірами.

Існує безліч різних індивідуальних нейронних чистих проектів, але всі вони потрапляють у декілька різних сімей функції. Кожен алгоритм побудований для іншої проблеми, і всі вони займаються тонко різних видів машинобудування. Тут ми обговоримо чотири основних підтипи нейронних мереж: конволюційний, рецидивний, генеративний змагальний, і шипінг.

Конволюційні нервові мережі

Конволюційні нервові мережі (CNNS) - це "живильні" системи, що означає, що потік інформації є односторонній. Цей тип нейронної мережі був згаданий у звітах ЗМІ АІС / нервових мереж, які можуть виконувати операції, але не можуть пояснити, як вони прибули до своїх відповідей. Це не тому, що вони вперті; Конволюційні нервові мережі просто не побудовані, щоб показати свою роботу. Вони складаються з вхідного шару, одного або декількох прихованих шарів та вихідного шару або вузла.

CNNS часто використовуються для обробки зображень. Оскільки вони харчуються вперед, математично, CNNS роблять велику роботу на двовимірних масивах даних, таких як зображення та інші матриці. Під капотом ці нервові мережі застосовують довгу математичну формулу, яка дозволяє їм виконувати операції не лише двома числами або умовами або рівняннями, а всього тіла даних, як у відповідності до зображення.

Однак, будучи годуванням, це тягне за собою певну кількість мертвих розрахованих. Один із способів це показує, як CNN може виконувати розпізнавання зображення, а потім використовувати його нове розуміння, щоб створити викривлені, трипські зображення, отримані з його тренувального набору. У 2016 році MIT випустив АІ, який може використовувати цю поведінку, щоб "сфотографувати" образи, виробляючи торрент морського палива вчасно для Хеллоуїна.

Рецидивні нервові мережі

На відміну від підходу подачі подачі, рецидивні нервові мережі роблять річ, яка називається підзаповненням. Зворотне розповсюдження - це акт ретрансляції інформації від глибшого до дрібних рівнів у нейронній мережі. Цей тип алгоритму здатний самовидогад.

Рецидивні нервові мережі виконують зворотне розповсюдження, роблячи зв'язки з іншими нейронами в системі - за шкалою до та включаючи будь-який нейрон, підключений до кожного іншого нейрона. Ця надмірність може виробляти високоточні результати, але існує стеля зменшення прибутковості, не на відміну від супер-відбору анти-згладжування (SSAA). Оскільки алгоритм робить все більше і більше проходить над даними, він вже оброблений, є менш і менше, це може зробити. У анти-нагромадженні, що йде від 2xaa до 4xaa, може виробляти чітко помітні результати, але важко сказати різницю між 8x і 16xaa без практичного ока.

Цей тип нейронної мережі може бути підготовлений за допомогою градієнтного походження, метод аналізу, який робить тривимірним ландшафтом можливостей. Бажані або небажані результати роблять "місцевість" у ландшафті. Як ми вже говорили, градієнтне спуск не є найкращим методом навчання нейронних мереж, але це потужний інструмент. Рецидивні нервові мережі можуть дати градієнт спуску посилення, підтримуючи деяку пам'ять про те, що використовується зміна ландшафту.

Шипкі нервові сітки

Як ми бачили вище, нейроморфний дизайн поставляється як у фізичних, так і цифрових форматах. Замість потоку бінарних даних постійно працює через єдиний процесор, шипшинні нервові мережі можуть бути програмним забезпеченням, апаратним або обома. Децентралізовані сердечники, чи фізичні або логічні, вогонь у каденції під назвою "Потяг Spike", щоб передати свій сигнал.

Шипкі нервові мережі часто переміщують інформацію, використовуючи модель "витоку інтеграційно-пожежу". Кожен нейрон у шипшиній мережі має вагу, яка являє собою середню активність прокату цього недавньої активності нейрону. Більше активацій виштовхують значення вище. Але вага - "витікає", в тому сенсі, що має отвір у відро. З часом проходить, кожна мережа Neuron Weight. Це трохи, як забуття. Біологічно, а не кожен нейрон активний у будь-який час. Ви можете протиставити його проти постійно насиченого вінок зв'язків у повторюваній нейронній мережі.

Шипкі сітки не такі хороші при градієнтному поході, ні задачі оптимізації такого роду. Однак вони великі при моделюванні біологічних функцій. Як шипальні мережі стають складнішими, вони можуть кодувати більше інформації в серії шипів. Це дозволяє набагато ближче обчислювального проходження над різноманітними функціями нервової системи. Ми вже використовували шипшинні нервові мережі, щоб імітувати нервові системи C. Elegans круглі черв'яки та фруктові мухи Drosophilia. Тепер дослідники намагаються імітувати людську кортикальну колону в режимі реального часу.

Ще одним можливим напрямком до дослідження нейронної мережі є додаткові рівні абстракції. Дослідники працюють над створенням шипшинної мережі, де кожен індивідуальний нейрон містить свою власну крихітну нейронну мережу.

Генеративні нервові мережі (GANS)

Один тип нейронної мережі з підвищенням популярності є генеративна суперечлива нейронна мережа, або Gan. Ганс - це ще одна еволюція штучного інтелекту, часто використовуються для зміни або створення зображень. "Адеренціальна" частина означає, що ці нервові сітки побудовані, щоб конкурувати з собою.

Так само, як Cerberus мав три голови, в рамках Ган часто є два окремі нервові сітки з власними намірами, одним генеративним і одним дискримінаційним. Генераційна модель виробляє результат, часто зображення. Тоді генеративна сторона намагається "обдурити" дискримінаційну модель, щоб побачити, наскільки близьким можна дістатися до бажаного випуску. Якщо дискримінаційна сторона не обдурена, результат відкидається. Результати цього випробування, як успіх генеративної сторони, а також зміст, який він зробив, відмовляються від. Іноді навчання контролюється, а іноді це не так. Але в будь-якому випадку, після кожного раунду суду, Gan повертається до креслярської дошки і знову намагається. Разом, обидві сторони ідуть до успіху.

Гнучко

Ганс здатний виробляти глибини: унікальні, фотореалістичні образи людей, які не існують у реальному світі. Для цього нейронна сітка виглядає через багато фотографій справжніх людей, збираючи дані про те, як ми відрізняємося один від одного, і на шляху, в яких ми нагадуємо один одного. (По суті, це фенотипування грубого силу.) Потім, як тільки готова сторона ГАН готова, генеративна сторона може почати намагатися створити свою власну оригінальну роботу. Одним із прикладів є стиль NVIDIA, який може виробляти образи вражаючого, обманного реалізму. Існує навіть похідний проект, який викликає глядачам, щоб визначити, чи дана стильна картина людини є реальною або підробкою.

Результати праці Ган можуть бути настільки реалістичними, насправді, що в 2019 році держава Каліфорнія (будинок як 2257 форм, так і голлівудського) засудив закон, який забороняє використання технології, таких як Gans для створення глибокої порнографії людини без їхнього згоду. Держава також заборонила розподіл маніпулювання відео політичних кандидатів протягом двох місяців виборів. Darpa намагається бути в курсі цієї гонки A / V зброї, встановивши весь поділ для вивчення банів, і знайти шляхи їх перемогти.

Yikes ...

Хоча це всі звучить дуже стресові, існують використання для газів, які не включають вискоблювання Інтернету для публічних фотографій профілю. Одне додаток - фізика частинок; Фізики вимагають вишуканої впевненості у своїх вимірах, перш ніж вони хочуть сказати, що вони знайшли нову частинку або пояснювали явище.

Інше місце Gans Excel - це теорія гри. Представлені з переліком правил та пріоритетів, Gans можуть оцінити ймовірний вибір учасників, а також використовувати цю ймовірність розповсюдження, щоб передбачити кінцеву машину. Цей тип нейронної мережі також розглядається для використання покращення астрономічних зображень та прогнозування гравітаційного закладу.

Влітку 2021 побачив випуск Codexai, генеративна нейронна мережа, здатна вдосконалювати своє власне програмне забезпечення. Модель може перекласти природну мову до коду. Він також може генерувати фрагменти інтелектуального коду, після того, як годувати весь GitHub. Хоча Codexai є повноцінною нейронною мережею самостійно, це також може працювати як частина набагато більшої, ієрархічної системи. Поведінка Codexai нагадує перші невдачі іскри самотнього нейрона, оскільки вона встановлює перші синапси. Це також показує обмеження технології. Neural Networks можуть навчитися виправляти свої припущення, але досяжність AI все ще перевищує його захоплення. Інтеграція декількох різноманітних моделей - це шлях майбутнього.

Де не виконують нейронні мережі?

Neural Networks чудово підходять для виконання конкретних та добре обмежених запитів, але вони можуть бути можливими. Велика сила комп'ютерів - це швидкість, при якій вони можуть виконувати повторювані операції. Ці швидкі ітерації також дозволяють надходити нейронну мережу. Коли це станеться, його мертвий розрахунок йде повністю кришталений. Передочений AI може виробляти деякі надзвичайно дивні зображення, і це не дуже корисно для прогнозних цілей - наприклад, прогнозування погоди.

У кінцевому підсумку, ці окремі слабкі сторони є незначними проблемами порівняно з проблемою зростання. Щоб отримати більш потужну нервову мережу, щоб отримати більший, і в ній лежить руб. Neural Nets не може масштабувати нескінченно. Їх масштабування ефективності насправді гірше, ніж регулярний датчик, через те, що робить нейронні сітки так здатні. Центральна концепція шаруваної нейронної мережі, її шарувата глибина та надмірність, вимагає експоненціального збільшення кількості влади. До теперішнього часу ми використовуємо грубу силу для досягнення наших кінців, які працює - до точки.

Ця проблема з масштабуванням потужності полягає в тому, чому Intel використовує низьке енергоспоживання Loihi як первинну точку продажу. Врешті-решт, об'єднані виклики використання енергії та теплова розсіювання стануть жорстким обмеженням на нашу здатність просто пов'язати більше цих чіпів, щоб зробити більший і більш витончений AIS.

Остаточні думки

Різниця між нейронною мережею та штучним інтелектом багато в чому полягає думку. Це нейронна чиста штучна інтелект в собі? Або є AI з підлеглих нейронних мереж? Єдина відмінність - це рівень абстракції, при якому спікер вирішує зробити відмінність.

Одне з них, здається, погоджується, полягає в тому, що нервові мережі не можуть робити те, що вони роблять без даних. Великі дані. Як обчислювальні обчислювачі та дані зйомки злітають, з нашим аналізом відкривається новий новий обсяг інформації. Існує вражаюча кількість вихідних даних, вироблених щодня. Це залежить від нас, щоб знайти творчі та розумні способи його використання.

Функція зображення Майком Маккензі (Flickr)

Читати далі

Chromebook отримують частку ринку, оскільки освіта переходить в Інтернет

Продажі Chromebook зросли в пандемії, продажі зросли на 90 відсотків, і очікується майбутнє зростання. Це ставить певні виклики для таких компаній, як Microsoft.

Раджа Кодурі від Intel представить на майбутній конференції Samsung Foundry

Цього тижня Раджа Кодурі від Intel виступить на ливарному заході Samsung - і це не те, що сталося б, якби Intel не мала чого сказати.

Огляд: Oculus Quest 2 може стати підказкою для масового прийняття VR

Oculus Quest 2 тепер доступний, і це покращення в порівнянні з оригіналом у всіх важливих аспектах. І все-таки це на 100 доларів дешевше, ніж останній реліз. Провівши деякий час з Quest 2, я вважаю, що ми могли б озирнутися на нього як на гарнітуру, яка нарешті зробила VR доступною для основних споживачів.

SpaceX запускає бета-версію "Краще від нічого"

Тим нечисленним щасливчикам, які отримали запрошення спробувати послугу, доведеться заплатити неабияку попередню вартість, і швидкість руху не вражає. Все-таки це супутникове Інтернет нового покоління.