NVIDIA's Jetson AGX Orin упадає AI Punch у невеликому пакеті

Якщо є будь-яка компанія, яка знаходиться на рулоні, коли мова йде про отримання більш обчислювальної потужності у менших пакетах, це NVIDIA. Відмінним прикладом є їхня лінія продуктів Jetson, яка забезпечує AI та інші форми прискореного обчислення. Я зміг провести деякий час з новітньою пропозицією вбудованого "робота мозку" - NVIDIA Jetson Agx Orin (починається від $ 399, коли доступно для виробничих програм пізніше цього року). Він має достатню кількість GPU для деяких найбільш вимогливих програм роботів, одночасно встановлюючи той самий форм-фактор, як Xavier, його попередник. Він споживає від 15 до 60 Вт, залежно від використовуваного профілю живлення.

Те, що ми розглядаємо тут, - це комплект розробника ($ 1,999), який поставляється в комплекті з корпусом та деякими аксесуарами. Він доступний зараз (теоретично, але зворотні замовлення накопичуються), щоб розробники могли отримати запуск голови, але обсяги обсягу версії, яка підходить для комерційного розгортання, не очікується до кінця року.

Nvidia jetson orin за номерами

Система Orin-on-Chip (SOC) базується на архітектурі NVIDIA AMPERE GPU та має 2,048 CORES CORES, 64 тензорні сердечники та 2 глибокого навчального прискорювача (DLA) двигунів. Він може доставити вражаючу 275 вершин сирої продуктивності AI для моделей, оптимізованих для 8-бітової математики.

Для чинних клієнтів Jetson Orin має однаковий контактний та слід, як Jetson Agx Xavier.

Це не ваш батько (або матері) jetson dev kit

Вперше я переглянув комплект Jetson Dev, він прибув як дошка, дошка та деякі гвинти. Я думаю, що мені довелося придбати свій малий фанат, відповідний блок живлення, і я 3D друкував сирний корпус. Комплект Orin Dev є ODE для дизайну. Оброблений металевий корпус, з внутрішніми вентиляторами, а також магнітно прикріплена кришка для слота PCI-E. Він виглядає круто, і може намалювати живлення з бочкового з'єднувача або порту USB-C.

Є кілька версій комплектів розробників, доступних для замовлення. Огляд огляду, який ми маємо як Wi-Fi, так і 1 Гб / с порт Ethernet, а також чотири USB 3.2 та два порти USB-C. Існує виводу DisplayPort 1.4A для відео.

Надано рецензенти Dev Kits, 4 ГБ з 256-розрядним LPDDR5 RAM, а вбудований завантажувальний привід 64 Гб. Комерційні підрозділи будуть доступні з кількома різними варіантами. На додаток до слоту MicroSD, існує також слот M.2, що дозволяє високошвидкісним додатковим зберіганням.

Jetpack nvidia's jetpack 5.0 sdk

Для початківців, jetpack 5.0 оновлює Ubuntu до 20.04lts та ядро до 5.10, як вітальні зміни. Cuda 11 і Tensorrt 8 також були оновлені до останніх версій. UEFI зараз використовується для завантажувача, а оновлення над-повітря (OTA) буде можливим для розгортання пристроїв Jetson.

Одне з функцій, які мені дуже подобається у JetPack 5.0 - це легка інтеграція в глибокий потік Nvidia. Після того, як ви маєте модель, наприклад, ви можете просто вказати глибокий потік, дайте йому джерело даних, і нехай він запускає. Процес простий, ніж коли мені потрібно, щоб подружитися з моделлю до камер, використовуючи попередні версії JetPack.

Нвіря оновив Дао і чому це має значення - багато

Оскільки нейронні мережі стали більш складними, і були підготовлені на великих і великих наборах для досягнення безпрецедентної точності, вони вимагають безпрецедентних кількостей обчислення часу та навчання. Це робить конкурентоспроможні, підготовлені з-від-дрян-мережі високопоглинаються за активами, створеними переважно великими корпораціями, з достатньою кількістю та грошима - і займає навчання з рук більшості. На щастя, виявляється, що мережі, які навчаються на досить загальному набору даних (наприклад, обличчя, зображення, код Github, або текст RedDit), внаслідок такого роду загального знання, які можуть бути повторно призначення.

Зокрема, особливості, які вони навчилися витягти, і оцінка можуть бути дуже корисними в інших доменах. Наприклад, функції, витягнуті з кольорових зображень, також можуть бути цінними для оцінки зображень IR. Особисто я використав мережевий настройки, щоб допомогти Джоелі (керуючий редактор Wfoojjjaec) з AI-на базіScaler для DS9 (це був захоплюючий експеримент - ED), а також створити генератор статей, заснований на GPT-2. Зовсім недавно, я використовував детектор обличчя NVIDIA-навколишнього середовища на Jetson, який я пристосував за допомогою декількох маскувальних таблиць з Інтернету, щоб навчити його ідентифікувати людей з маскою та без маски.

Розуміючи важливою важливості такого підходу до тренувань та польових роботів та інших "крайових" -пазових рішень AI, Nvidia дійсно збільшив свою гру тут. Мої перші спроби використання пакету перехресного навчання (TRT) були досить болісними та обмеженими. Тепер, Тао (поїзд, адаптація, оптимізація) була упакована в систему просту у використанні. Він все ще вимагає або писати якийсь код або адаптувати одну з прикладів NVIDIA, але фактична логіка не повинна бути занадто складною. Так само важливо, що "адаптація" та "оптимізації" є набагато більш автоматизовані.

Як частина набору огляду для Orin, NVIDIA надіслав нам приклад програми, де ми могли б розгорнути попередньо підготовлену версію Peopleenet, або адаптуватися до додаткових даних. Як і очікувалося, попередньо підготовлена мережа досягла відмінної продуктивності при виявленні людей, їхніх обличчях та мішках. Якою була вражаюча була здатність кидати додаткове набору даних людей з і без шоломів на ньому і доводиться до себе, щоб навчитися розрізняти їх.

У мене не було часу, щоб зробити це для цього огляду, але я планую зробити більшого проекту, використовуючи TAO, щоб перехрестувати існуючу мережу на якийсь тип роману автомобільного дизайну камери. Це важливий випадок використання, оскільки розробники нових систем камери за визначенням мають обмежені дані, фактично захоплені своїми камерами. Це важко тренувати модель з нуля, тільки з власними даними. Адаптації попередньо підготовлених моделей стала необхідністю.

Зображення NGC та Docker є ключем до розвитку Jetson

Останній раз я переглянув процесор, вбудований NVIDIA, це було все про зображення Docker. Це, здавалося, дуже потужні інновації для вбудованого пристрою. З Orin, поки є ще деякі зображення докера в суміші, більшість SDK та моделей мають більш прямий засіб для завантаження та запуску їх.

На щастя, власна NGC NVIDIA має зростаючу кількість моделей, які можуть використовувати на NVIDIA GPUS та легко завантажити. Тао вже "знає" як працювати з ними, як тільки ви подаєте свої дані у форматі, який основний двигун ML розуміє.

Демонстрація Peopleenet використовує тензорний потік, який працює на Azure для тренувань, хоча, звичайно, він також може бути запущений локально, якщо у вас є достатньо GPU HORSHWOWER. Потім адаптовану модель, а потім завантажується до JETSON GPU та запустити локально. Приклади високого рівня, які я працював, написані в Python та зберігаються в ноутбуках Jupyter, але KITPACK Dev Kit також поставляється з великою кількістю прикладів у C ++ про те, як використовувати різні індивідуальні бібліотеки NVIDIA.

Загальні враження

Якщо ви не tesla, або компанія з подібними ресурсами для розробки власного стека AI, важко сперечатися з вибором платформи jetson Nvidia для роботу та подібних додатків. Її апаратні пропозиції швидко просунулися, зберігаючи хорошу сумісність програмного забезпечення. І жодна компанія не має більшої екосистеми розробника, ніж NVIDIA. ГРУ, безумовно, є зіркою Jetson Show, тому, якщо ваша заявка сильно залежить від CPU, це може бути проблемою.