NVIDIA's Jetson AGX Orin упадає AI Punch у невеликому пакеті

NVIDIA's Jetson AGX Orin упадає AI Punch у невеликому пакеті

Якщо є будь-яка компанія, яка знаходиться на рулоні, коли мова йде про отримання більш обчислювальної потужності у менших пакетах, це NVIDIA. Відмінним прикладом є їхня лінія продуктів Jetson, яка забезпечує AI та інші форми прискореного обчислення. Я зміг провести деякий час з новітньою пропозицією вбудованого "робота мозку" - NVIDIA Jetson Agx Orin (починається від $ 399, коли доступно для виробничих програм пізніше цього року). Він має достатню кількість GPU для деяких найбільш вимогливих програм роботів, одночасно встановлюючи той самий форм-фактор, як Xavier, його попередник. Він споживає від 15 до 60 Вт, залежно від використовуваного профілю живлення.

Те, що ми розглядаємо тут, - це комплект розробника ($ 1,999), який поставляється в комплекті з корпусом та деякими аксесуарами. Він доступний зараз (теоретично, але зворотні замовлення накопичуються), щоб розробники могли отримати запуск голови, але обсяги обсягу версії, яка підходить для комерційного розгортання, не очікується до кінця року.

Nvidia jetson orin за номерами

Система Orin-on-Chip (SOC) базується на архітектурі NVIDIA AMPERE GPU та має 2,048 CORES CORES, 64 тензорні сердечники та 2 глибокого навчального прискорювача (DLA) двигунів. Він може доставити вражаючу 275 вершин сирої продуктивності AI для моделей, оптимізованих для 8-бітової математики.

Для чинних клієнтів Jetson Orin має однаковий контактний та слід, як Jetson Agx Xavier.

NVIDIA's Jetson AGX Orin упадає AI Punch у невеликому пакеті

Це не ваш батько (або матері) jetson dev kit

Вперше я переглянув комплект Jetson Dev, він прибув як дошка, дошка та деякі гвинти. Я думаю, що мені довелося придбати свій малий фанат, відповідний блок живлення, і я 3D друкував сирний корпус. Комплект Orin Dev є ODE для дизайну. Оброблений металевий корпус, з внутрішніми вентиляторами, а також магнітно прикріплена кришка для слота PCI-E. Він виглядає круто, і може намалювати живлення з бочкового з'єднувача або порту USB-C.

Є кілька версій комплектів розробників, доступних для замовлення. Огляд огляду, який ми маємо як Wi-Fi, так і 1 Гб / с порт Ethernet, а також чотири USB 3.2 та два порти USB-C. Існує виводу DisplayPort 1.4A для відео.

Надано рецензенти Dev Kits, 4 ГБ з 256-розрядним LPDDR5 RAM, а вбудований завантажувальний привід 64 Гб. Комерційні підрозділи будуть доступні з кількома різними варіантами. На додаток до слоту MicroSD, існує також слот M.2, що дозволяє високошвидкісним додатковим зберіганням.

NVIDIA's Jetson AGX Orin упадає AI Punch у невеликому пакеті

Jetpack nvidia's jetpack 5.0 sdk

Для початківців, jetpack 5.0 оновлює Ubuntu до 20.04lts та ядро ​​до 5.10, як вітальні зміни. Cuda 11 і Tensorrt 8 також були оновлені до останніх версій. UEFI зараз використовується для завантажувача, а оновлення над-повітря (OTA) буде можливим для розгортання пристроїв Jetson.

Одне з функцій, які мені дуже подобається у JetPack 5.0 - це легка інтеграція в глибокий потік Nvidia. Після того, як ви маєте модель, наприклад, ви можете просто вказати глибокий потік, дайте йому джерело даних, і нехай він запускає. Процес простий, ніж коли мені потрібно, щоб подружитися з моделлю до камер, використовуючи попередні версії JetPack.

NVIDIA's Jetson AGX Orin упадає AI Punch у невеликому пакеті

Нвіря оновив Дао і чому це має значення - багато

Оскільки нейронні мережі стали більш складними, і були підготовлені на великих і великих наборах для досягнення безпрецедентної точності, вони вимагають безпрецедентних кількостей обчислення часу та навчання. Це робить конкурентоспроможні, підготовлені з-від-дрян-мережі високопоглинаються за активами, створеними переважно великими корпораціями, з достатньою кількістю та грошима - і займає навчання з рук більшості. На щастя, виявляється, що мережі, які навчаються на досить загальному набору даних (наприклад, обличчя, зображення, код Github, або текст RedDit), внаслідок такого роду загального знання, які можуть бути повторно призначення.

Зокрема, особливості, які вони навчилися витягти, і оцінка можуть бути дуже корисними в інших доменах. Наприклад, функції, витягнуті з кольорових зображень, також можуть бути цінними для оцінки зображень IR. Особисто я використав мережевий настройки, щоб допомогти Джоелі (керуючий редактор Wfoojjjaec) з AI-на базіScaler для DS9 (це був захоплюючий експеримент - ED), а також створити генератор статей, заснований на GPT-2. Зовсім недавно, я використовував детектор обличчя NVIDIA-навколишнього середовища на Jetson, який я пристосував за допомогою декількох маскувальних таблиць з Інтернету, щоб навчити його ідентифікувати людей з маскою та без маски.

Розуміючи важливою важливості такого підходу до тренувань та польових роботів та інших "крайових" -пазових рішень AI, Nvidia дійсно збільшив свою гру тут. Мої перші спроби використання пакету перехресного навчання (TRT) були досить болісними та обмеженими. Тепер, Тао (поїзд, адаптація, оптимізація) була упакована в систему просту у використанні. Він все ще вимагає або писати якийсь код або адаптувати одну з прикладів NVIDIA, але фактична логіка не повинна бути занадто складною. Так само важливо, що "адаптація" та "оптимізації" є набагато більш автоматизовані.

Як частина набору огляду для Orin, NVIDIA надіслав нам приклад програми, де ми могли б розгорнути попередньо підготовлену версію Peopleenet, або адаптуватися до додаткових даних. Як і очікувалося, попередньо підготовлена ​​мережа досягла відмінної продуктивності при виявленні людей, їхніх обличчях та мішках. Якою була вражаюча була здатність кидати додаткове набору даних людей з і без шоломів на ньому і доводиться до себе, щоб навчитися розрізняти їх.

NVIDIA's Jetson AGX Orin упадає AI Punch у невеликому пакеті

У мене не було часу, щоб зробити це для цього огляду, але я планую зробити більшого проекту, використовуючи TAO, щоб перехрестувати існуючу мережу на якийсь тип роману автомобільного дизайну камери. Це важливий випадок використання, оскільки розробники нових систем камери за визначенням мають обмежені дані, фактично захоплені своїми камерами. Це важко тренувати модель з нуля, тільки з власними даними. Адаптації попередньо підготовлених моделей стала необхідністю.

Зображення NGC та Docker є ключем до розвитку Jetson

Останній раз я переглянув процесор, вбудований NVIDIA, це було все про зображення Docker. Це, здавалося, дуже потужні інновації для вбудованого пристрою. З Orin, поки є ще деякі зображення докера в суміші, більшість SDK та моделей мають більш прямий засіб для завантаження та запуску їх.

На щастя, власна NGC NVIDIA має зростаючу кількість моделей, які можуть використовувати на NVIDIA GPUS та легко завантажити. Тао вже "знає" як працювати з ними, як тільки ви подаєте свої дані у форматі, який основний двигун ML розуміє.

Демонстрація Peopleenet використовує тензорний потік, який працює на Azure для тренувань, хоча, звичайно, він також може бути запущений локально, якщо у вас є достатньо GPU HORSHWOWER. Потім адаптовану модель, а потім завантажується до JETSON GPU та запустити локально. Приклади високого рівня, які я працював, написані в Python та зберігаються в ноутбуках Jupyter, але KITPACK Dev Kit також поставляється з великою кількістю прикладів у C ++ про те, як використовувати різні індивідуальні бібліотеки NVIDIA.

Загальні враження

Якщо ви не tesla, або компанія з подібними ресурсами для розробки власного стека AI, важко сперечатися з вибором платформи jetson Nvidia для роботу та подібних додатків. Її апаратні пропозиції швидко просунулися, зберігаючи хорошу сумісність програмного забезпечення. І жодна компанія не має більшої екосистеми розробника, ніж NVIDIA. ГРУ, безумовно, є зіркою Jetson Show, тому, якщо ваша заявка сильно залежить від CPU, це може бути проблемою.

Читати далі

ARMing for War: Новий Cortex-A78C кине виклик x86 на ринку ноутбуків
ARMing for War: Новий Cortex-A78C кине виклик x86 на ринку ноутбуків

ARM зробив ще один крок до виклику власного x86, дебютуючи Cortex-A78C цього тижня. Новий чіп містить до восьми "великих" процесорних ядер і до 8 МБ кеш-пам'яті L3.

Власники Google Pixel Slate повідомляють про помилку Flash Storage
Власники Google Pixel Slate повідомляють про помилку Flash Storage

Форуми підтримки продуктів Google заповнені розлюченими власниками Pixel Slate, які кажуть, що їх пристрої часто стикаються з помилками сховища.

Huawei продає торгову марку Honor на тлі посилення торгових обмежень
Huawei продає торгову марку Honor на тлі посилення торгових обмежень

(Кредит: Кевін Фрейер / Getty Images) В останні кілька років Huawei зазнала обмежень щодо торгівлі США, і це впливає на довгострокову стабільність компанії. Експерти не очікують кардинальних змін, коли нова адміністрація США прийде до влади наступного року, тому Huawei починає вживати рішучих заходів. Він продав свою честь ...

Apple знижує наполовину плату для розробників App Store, які заробляють менше 1 мільйона доларів
Apple знижує наполовину плату для розробників App Store, які заробляють менше 1 мільйона доларів

Надалі звичайне скорочення продажів на платформі iOS на 30 відсотків від Apple знизиться до 15 відсотків для невеликих розробників. Однак Epic стверджує, що це лише спроба розколоти спільноту розробників.