wfoojjaec пояснює: що таке нейронна сітка?

Як ми прогнозували ще в 2016 році, штучний інтелект (А.І.) керує поточною технологічною революцією в охороні здоров'я людини. Схоже, що нервові мережі можуть бути наступним кордоном у просуванні обчислювальних технологій. Оскільки ми збільшуємо наше розуміння людського Connectome та шляху наші мозок обробляє інформацію, наша здатність розуміти його феноменальну інформаційну пропускну здатність зростає в тандемі. Це призвело до крихких інструментів нейроморфних обчислень у популярності.

Цей посібник призначений для короткого, але ретельного грунту на нейронних мережах. Якщо ви залишитесь з питаннями після читання, повідомте нас у коментарях: ми можемо вирішити ваші запитання в оновленні або майбутній статті.

Отже, без подальшого ...

Що таке нейронна мережа?

Нейронна мережа, також відома як нейроморфна система, є системою апаратного та / або програмного забезпечення, яке призначене для наслідування деякого аспекту людського мозку. Є багато видів штучних нейронних мереж, або Anns, тому ми покриваємо це за мить. Наразі давайте розглянемо апаратне забезпечення.

Порівняння комп'ютерів до мозку працює як широким, так і глибоким. Це тому, що обидва мізки, так і комп'ютери подібні як на семантичному, так і структурному рівні. Вони обидва звинувачені сітчасті мережі декількох шарів, відповідальних за обробку високому обсягу. Вони обидва мають робочу пам'ять, чий буфер може збитий або переповнений. Вони обидва мають "холодне зберігання", яке організовується в грубому семантичній ієрархії по всій поверхні мозку, подібна до того, як дані зберігаються в різних місцях на жорсткому диску. Вони обидва складаються з мережі вузлів, важливість яких індивідуально виражається "вагами" своїх зв'язків. Їх вузли спілкуються за допомогою серії електричних шипів, що мають дані, вбудовані в послідовність.

Аналогія розбивається, коли порівнюєте мозок до процесора, однак, через тривалу звичку мозку "паралелізувати все". CPUS є директором до трубопроводу даних, в тому, як регіони мозку не є. Більш ближче аналогічна була б порівнювати мозок, як сума його коннектора, до FPGA. FPGA призначені для налаштування користувачем після виготовлення. Нейрове пластичність означає, що навіть після того, як апаратне забезпечення мозку є "повністю зрілось", його синаптичне та електричне програмне забезпечення все ще може отримувати оновлення. Як зміни навколишнього середовища, адапт мозку.

Око не камеру, за винятком того, що у важливому сенсі він є; Структура сітківки розташовується в упорядкованій карті візуального поля, яке продовжує весь шлях уздовж оптичного нерва до візуальної кори. Ми можемо діагностувати, де травма з оптичного нерва має відбутися, засноване на частині візуального поля, що має проблеми. Кожен нейрон у оброблюваних шарах звітів сітківки вгору. Ви можете порівняти сітківку - захоплення пристрою очей - до сітки датчиків на CCD-камеру, як і один Hubble використовує для захоплення своїх зображень. Дзеркала, CCDS та Retinas всі просто захоплюють двовимірну потоку фотонів, яку вони отримують. Двовимірний фотонний потік також називається відео.

Аналогічним чином, мозок не є комп'ютером, за винятком того, що він є. У нас навіть є внутрішній годинник, який організовує багато ритмів стрільби мозку в часі, піднімаючи їх упорядковану та шарувату композицію, не схоже на пісню.

Таким чином, нервові сітки зазвичай розробляють на трьох основних компонентах: нейронна мережа - це система, що складається з нейронів або вузлів, а також їх зв'язків та ваг. Він також повинен мати певну функцію розповсюдження. Деякі нейронні мережі здатні дотримуватися своїх власних результатів, а також змінювати свій підхід до завдання.

Чому імітувати мозок?

Коротше кажучи, ми хочемо імітувати мозок, тому що мізки дійсно хороші за те, що вони роблять. Вони швидко, легкі та дуже низькі. Людський мозок вважається, що інформаційна пропускна спроможність Petascale - набагато більше, ніж будь-який єдиний ПК, який ми коли-небудь побудували. (Розподілені суперкомп'ютери не розраховують.) І мозок діє близько двадцяти ВАТ. Ця виграшна комбінація частково через свою фізичну структуру, і частково через унікальну інформацію, що рухається через нервову систему. Мозок працюють паралельно і серійний, бінарний та аналог, все одночасно.

Коли нейрони пожежа, ці імпульси подорожують вниз по аксонів послідовно. Але нейрони розташовані в кортикальних колонках, а кортикальні стовпці розташовані в регіони мозку. Таким чином, цілі регіони мозку багатьох клітин можуть працювати на тому ж завданні, паралельно.

Нейрони спілкуються один з одним, отримуючи, тлумачить, а потім розповсюджуючи крихітну хвилю електроенергії довжиною аксона. Це надзвичайно низька потужність, тому що трохи шипіння деполяризації через мембрану виконується просто співпрацюючи з електрохімічним градієнтом за межами клітини. Кортичні нейрони, зокрема, мають глибоко розгалужену структуру. Вони підключаються в "багато-на-одному" моді своїм сусідам, які фізично поруч з ними, і до "вгору" нейронів, які приходять перед ними в інформаційному потоці. Вони також підключаються в "один-до-багатьох", під час спілкування з подружжя колег. Щоб керувати всіма цими поверхнями, вони аналізують "вагу" зв'язків у порядку важливості будувати синапси.

Нейрони також обробляють інформацію в аналоговому сенсі: нейрони роблять аналогові поглинання, натиснувши всі перекриття, в реальному часі мерехтіння вводу з дендритів. Це фізіологічний перетворення Фур'є. Але нейрони також сильно двійкові, коли мова йде про те, як вони передають свої повідомлення. Сигнал нейрона виконаний з електричних шипів, організованих у часовому домені, а шипи не змінюються в амплітуді. Нейрон або шипа, або це не так. Шпікети складаються з крихітної подорожі Zap. Потяги Spike - це часові послідовності електричних хвиль, що містять фрагменти даних. Це майже як приймач коду Морзе.

Hardware проти програмного забезпечення Neural Nets

Наближаючись до функції мозку як виникнення властивості його фізичної структури призводить до апаратного інтерпретації "нейронної мережі". IBM Truenorth, вироблений у 2014 році, був безлічкоровим нейроморфним CMOS-чіпом, що хостиє з конволюційної нервової мережі. Truenorth мав власну програмну екосистему, включаючи мову, яка проводить програму, бібліотеки та цілу IDE. Аналогічним чином, Ecosystem Intel Loihi є апаратною нейронною мережею з пов'язаним програмним забезпеченням. Loihi є нейроморфним чіпом, а Lava - це шлях доступу до доступу до Loihi.

Фізична архітектура Loihi імітує фізичну організацію мозку. Хоча він виготовляється з використанням звичайних напівпровідникових матеріалів і буде виготовлено в майбутньому на технологічному вузлі Intel 4, Loihi організовується дуже по-різному, ніж кремній, який ми всі звикли. Loihi має до мільйона нейронів: окремих об'єктів у мережі, кожна з яких прикріплена 128 кб пам'яті. Цей пул інформації - це аналог чіпа для синапсів. Це відображає стан підключення нейронів у будь-який час. Він контролюється сусідніми ядрами x86, які накладають зовнішній годинник, щоб виправити ритми стрільби нейронів. Сердечники керівників також періодично змушують нейрони перевіряти свою пам'ять проти решти групи, або перерахувати силу своїх зв'язків.

Ця структура відповідає ієрархічним та паралельним аспектам організації мозку. Крім того, Loihi 2 переглянув свій підхід до стрільби. Loihi 1 звільнив свої нейрони у бінарні: один або нуль, нічого між ними. Loihi 2 кодує свої шипи, як цілі числа, дозволяючи їм носити метадані. Це також означає, що вони можуть вплинути на нейрони вниз по течії. Шипки з цілими значеннями можуть емулювати каталог різних електрохімічних сигналів, нейрон може надсилати або отримувати.

Розробники можуть інтерфейс з Loihi та Lava за допомогою Python. (Це починає звучати, як досить тропічна пригода.) Система Loihi буде доступна для дослідників, але споживчі програми є низьким пріоритетом.

Основні види нервових мереж

Нервові мережі, з їхніми шарами та надмірностями, Excel при обробці високо паралельних завдань. Вони також допомагають у завданні, які вимагають, щоб користувач приймає величезну кількість даних, щоб визначити візерунки в ньому - це часто називають "пиття з вогля". Щоб отримати переваги великих даних, ми повинні мати можливість обробляти його за допомогою корисної швидкості. Neural Nets також Excel при маніпуляціях даних з метаданими або багатьма розмірами.

Є багато різних індивідуальних нейронних мережевих проектів, але всі вони потрапляють у декілька різних сімей функції. Кожен алгоритм побудований для іншого типу проблеми, і всі вони займаються тонко різних видів машинобудування. Тут ми обговоримо чотири основні підтипи нейронних мереж: конволюційний, рецидивний, генеративний змагальний, і шип.

Конволюційні нервові мережі: конволюційні нервові мережі (CNNS) - це "силові системи харчування", що означає, що потік інформації обмежується одним напрямком через мережу. Цей тип нейронної мережі був згаданий у звітах ЗМІ АІС / нервових мереж, які можуть виконувати операції, але не можуть пояснити, як вони прибули до своїх відповідей. Це тому, що конволюційні нервові мережі просто не побудовані, щоб показати свою роботу. Вони складаються з вхідного шару, одного або декількох прихованих шарів та вихідного шару або вузла.

CNNS часто використовуються для обробки зображень. Оскільки вони харчуються вперед, математично, CNNS роблять велику роботу з даних, що поставляються у форматі сітки. Вони надійні, коли застосовуються до двовимірних масивів даних, таких як зображення та інші матриці. Під капотом вони застосовують довгу математичну формулу, яка спрямовує алгоритм у тому, як виконувати операції не лише двох чисел або термінів або рівнянь, але ціле тіло даних, як у відповідності до зображення.

Feed-Forward також тягне за собою певну кількість мертвих розрахунків. Один із способів, який саме показує, полягає в тому, як CNN може виконувати розпізнавання зображень, а потім використовувати його нове розуміння, щоб створити викривлені, trippy зображення, отримані з його тренувального набору. У 2016 році MIT випустив АІ, який міг би використовувати цю поведінку, щоб "spookify" зображень, виробляючи торрент морського палива вчасно для Хеллоуїна.

Рецидивні нервові мережі: На відміну від підходу подачі подачі, рецидивні нервові мережі роблять річ, яка називається поповненням. Зворотне розповсюдження - це акт ретрансляції інформації від глибшого до дрібних рівнів у нейронній мережі. Цей тип алгоритму здатний самовиробляти.

Рецидивні нервові мережі виконують зворотне розповсюдження, роблячи зв'язки з іншими нейронами в системі - за шкалою до та включаючи кожен нейрон, з'єднаний з кожним іншим нейроном. Ця надмірність може виробляти високоточні результати, але є стеля зменшення прибутковості. Це не на відміну від супер-відбору анти-згладжування (SSAA). Оскільки алгоритм робить все більше і більше проходить над даними, він вже оброблений, є менш і менше, це може зробити. Перехід від 2xaa до 4xaa може виробляти чітко помітні результати, але важко сказати різницю між 8x і 16xaa без практичного ока.

Цей тип нейронної мережі може бути підготовлений за допомогою градієнтного походження, методу аналізу, що робить тривимірним ландшафтом можливостей. Бажані або небажані результати можуть бути представлені як "місцевість" у ландшафті, у місцях, що відповідають їх статистиці. Як ми вже говорили, градієнтне спуск не є найкращим методом тренувань нейронної мережі, але це потужний інструмент. Рецидивні нервові мережі можуть дати градієнт спуску посилення, підтримуючи деяку пам'ять про те, що використовується зміна ландшафту.

Шипкі нервові мережі: як ми бачили вище, нейроморфний дизайн поставляється як у фізичних, так і цифрових форматах. Замість потоку бінарних даних постійно працює через єдиний процесор, шипшинні нервові мережі можуть бути програмним забезпеченням, апаратним або обома. Вони зроблені з децентралізованих сердечників, фізичних або логічних, що вогонь у каденції називається "підпорядкованим поїздом", щоб передати свій сигнал. Ці масиви ядер об'єднуються спільною мережевою структурою, і кожен нейрон - це вузол у межах цієї мережі.

Спроби моделювати шляхи нейронів управляти багатьма я / виводом, які навчали нас, що в багатьох різних каналах є інформація. Існує дані, пов'язані з тим, чи стріляє нейрон, а також у послідовності шипів. Він також має значення, які з його мережевих колег одночасно стріляли.

Одним з важливих інструментів у нейроморфному обчислюванні є модель "витоку інтегрувально-вогню". Зв'язок між нейронами моделюється набором диференціальних рівнянь, які описують різні IRENON I-O. (Диференціальні рівняння - це чудові інструменти для порівняння ставок. У деяких контекстах ви можете використовувати Diffeqs для моделювання довільного N-мірного набору компараторів.)

Кожен нейрон у шипшиній мережі має вагу. Вага являє собою середній показник недавньої активності нейронів. Більше активацій виштовхують значення вище. Але вага - "витікає", в тому сенсі, що має отвір у відро. Як проходить час, функція розпаду, яка повільно зменшується вага мережі нейрона. Це стосується ідеї, що біологічно, не кожен нейрон активний у будь-який час. Ви можете протиставити його проти постійно насиченого вінок зв'язків у повторюваній нейронній мережі.

Шипкі сітки не такі хороші при градієнтному спуску, ні оптимізаційні проблеми такого роду. Однак вони можуть бути однозначно підходять для моделювання біологічних функцій. Оскільки шипшинні сітки стають складнішими, вони можуть стати здатні кодувати більше інформації в серії шипів. Це дозволить набагато ближче обчислювального проходження над різноманітними функціями нервової системи. Ми вже моделювали нервові системи C. Elegans круглі черв'яків та фруктових фруктів Drosophilia, а дослідники намагаються імітувати людську кортикальну колону в режимі реального часу.

Ще одним можливим напрямком доступу до шипів нейронної мережі є додаткові рівні абстракції. Дослідники працюють над створенням шипшинної мережі, де кожен окремий нейрон сам по собі складається з нейронної мережі.

Генеративні противники нервових мереж (GANS): Один тип нейронної мережі з зростанням популярності є генеративна суперечлива нейронна мережа, або Gan. Ганс - це ще одна еволюція штучного інтелекту, часто використовуються для зміни або генерації зображень. "Адересвяна" частина означає, що ці нервові мережі побудовані, щоб конкурувати з собою.

Так само, як Cerberus мав три голови, в межах GaN є часто два окремі нервові сітки з власними намірами, одним генеративним і одним дискримінаційним. Генераційна модель виробляє результат, часто зображення. Потім генеративна сторона намагається "дурень" дискримінаційної моделі, щоб побачити, наскільки близьким він може дістатися до бажаного випуску. Якщо дискримінаційна сторона не обдурена, результат відкидається. Результати цього випробування, як успіх генеративної сторони, а також зміст, який він зробив, відмовляються від умови; Іноді навчання контролюється, а іноді це не так. Але в будь-якому випадку, після кожного раунду суду, Gan повертається до креслярської дошки і знову намагається. Ось як пара до успіху

Ганни здатні виробляти унікальні, фотореалістичні образи людей, які не існують у реальному світі. Для цього вони розглядають багато фотографій справжніх людей, збирати дані про те, як ми відрізняємося один від одного, і на шляхах, в яких ми нагадуємо один одного. По суті, це фенотипування грубої сили. Потім, як тільки Ган достатньо освічений, його генеративна сторона може почати намагатися створити свою оригінальну роботу. Одним з прикладів є стиль NVIDIA, який може виробляти зображення вражаючого, обманного реалізму. Існує навіть похідний проект, який викликає глядачі, щоб визначити, чи дана стильна картина людини є реальною або підробкою.

Результати робочої сили Ган можуть бути настільки реалістичними, оскільки в 2019 році держава Каліфорнія (будинок як 2257 форм, так і голлівудського) засудив закон, що забороняє використання технології, таких як GANS для створення глибокої порнографії людини без їхнього згода. Держава також заборонила розподіл маніпулювання відео політичних кандидатів протягом двох місяців виборів. Darpa намагається бути в курсі цієї гонки A / V зброї, встановивши весь поділ для вивчення обох ган, так і способів їх перемогти.

Хоча це всі звучить дуже стресові, існують використання для банів, які не включають вискоблювання Інтернету для публічних фотографій профілю. Одне додаток - фізика частинок; Фізики вимагають вишуканої впевненості у своїх вимірах, перш ніж вони хочуть сказати, що вони знайшли нову частинку або пояснювали явище.

Інше місце Gans Excel - це теорія гри. Представлені з переліком правил та пріоритетів, Gans можуть оцінити ймовірний вибір учасників, а також використовувати цю ймовірність розповсюдження, щоб передбачити ендгенерацію. Цей тип нейронної мережі також розглядається для використання покращення астрономічних зображень та прогнозування гравітаційного закладу.

Влітку 2021 побачив випуск кодексай, генеративної нейронної мережі, здатної вдосконалити власне програмне забезпечення. Модель може перекласти природну мову до коду. Він також може генерувати фрагменти інтелектуального коду після того, як годувати весь Github.

Хоча Codexai можна вважати повноцінною нейронною мережею на власні заслуги, це також схоже, що він може бути легко бути частиною набагато більшої, ієрархічної системи. Поведінка Codexai нагадує перші нерозбірні іскри самотнього нейрона, оскільки вона встановлює перші синапси. Це також показує обмеження технології. Neural Networks можуть навчитися виправляти свої припущення, але досяжність AI все ще перевищує його розуміння. Інтеграція декількох різноманітних моделей - це шлях майбутнього.

Де падають нейронні мережі?

Neural Networks значні за виконання специфічних та добре обмежених запитів, але вони можуть бути можливими. Велика сила комп'ютерів - це швидкість, при якій вони можуть виконувати повторювані операції. Ці швидкі ітерації також дозволяють надходити нейронну мережу. Коли це станеться, його мертвий розрахунок йде повністю кришталений. Повноважений AI може виробляти деякі надзвичайно дивні зображення, що робить його не дуже корисним для прогнозних цілей, як прогноз погоди.

Зрештою, однак, ці окремі слабкі сторони є незначними проблемами порівняно з проблемою зростання. Щоб отримати більш потужну нейронну мережу, повинна бути більшою, і в ній лежить руб. Neural Nets не може масштабувати нескінченно. Їх ефективність масштабування насправді гірша, ніж регулярний датчик, через те, що робить нейронні сітки так здатні. Центральна концепція шаруваної нейронної мережі, її шарувата глибина та надмірність, вимагає експоненціального збільшення кількості влади. Таким чином, ми використовуємо грубу силу для досягнення наших кінців, які працює - до точки.

Ця проблема з масштабуванням потужності полягає в тому, чому Intel використовує низьке енергоспоживання Loihi як первинну точку продажу. Врешті-решт, комбіновані проблеми використання енергії та теплова розсипання стануть жорстким обмеженням на нашу здатність просто пов'язати більше цих чіпів, щоб зробити більший і більш витончений AIS.

Остаточні думки

Різниця між нейронною мережею та штучним інтелектом багато в чому полягає думку. Одна школа думки вважає нервову мережу, щоб бути штучним інтелектом у собі. Інші вважають штучний інтелект, який буде виготовлений з підлеглих нейронних мереж. Єдина відмінність - це рівень абстракції, при якому спікер вирішує зробити відмінність.

Одна річ, здається, погоджується, полягає в тому, що нервові мережі не можуть робити те, що вони роблять без даних. Великі дані. Як обчислювальна обчислювальна техніка та дані злітають, для нашого аналізу відкривається абсолютно новий обсяг обчислень інформації. Існує вражаюча кількість вихідних даних, вироблених щодня. Це залежить від нас, щоб знайти творчі та розумні способи його використання.