NVIDIA Jetson: архитектура, работа и приложения

Ведущая платформа в мире, такая как NVIDIA Jetson, представляет собой набор встроенных вычислительных плат, которые в основном используются в автономных машинах и других устройствах. встроенные приложения . Эта плата в основном содержит модули Jetson, представляющие собой высокопроизводительные компьютеры. Jetson хорошо сочетается с аналогичным программным обеспечением для искусственного интеллекта и облачным рабочим процессом, который используется на других платформах NVIDIA и обеспечивает энергоэффективную производительность для клиентов при создании автономных машин на основе программного обеспечения. NVIDIA Jetson используется для приложений компьютерного зрения. Итак, в этой статье рассматривается обзор NVIDIA Jetson — работа и его приложения.

Что такое NVIDIA Jetson?

NVIDIA Jetson — продвинутый система встраивания доска, которая используется для создания инновационных продуктов ИИ в нескольких отраслях. NVIDIA Jetson — одна из ведущих аппаратных платформ, которая очень полезна для технических энтузиастов, а также студентов, желающих получить практический опыт в ряде инновационных проектов искусственного интеллекта. Эта плата является очень эффективной платой для ИИ, которая включает в себя модульные, компактные и высокопроизводительные периферийные компьютеры. Кроме того, эта плата также содержит JetPack SDK, используемый для ускорения программного обеспечения, а также полную экосистему, помогающую ускорить процесс разработки пользовательских проектов ИИ.

Архитектура NVIDIA Jetson

Мы знаем, что модуль Nvidia Jetson от Nvidia представляет собой набор встроенных вычислительных плат. Все модели Jetson TX1, TX2 и TK1 оснащены процессором SoC или Tegra от Nvidia, который включает в себя процессор архитектуры ARM. Здесь Jetson представляет собой систему с низким энергопотреблением, в основном предназначенную для ускорения приложений машинного обучения.

Архитектура NVIDIA Jetson Xavier NX показана ниже. Это самый продвинутый и компактный суперкомпьютер с искусственным интеллектом, используемый для периферийных вычислительных устройств, а также автономная робототехника . Этот модуль способен обеспечить производительность серверного класса в прочном форм-факторе 70 x 45 мм, а также обеспечивает до 21 TOPS вычислительной мощности менее 15 Вт, в противном случае до 14 TOPS вычислительной мощности менее 10 Вт.

На приведенной выше диаграмме показан встроенный 384-ядерный процессор NVIDIA Volta. графический процессор включая 6-ядерный 64-разрядный ЦП NVIDIA Carmel ARMv8.2, 48 тензорных ядер, 8 ГБ 128-разрядной LPDDR4x, видеокодеры и декодеры 4K, два ядра NVDLA (NVIDIA Deep Learning Accelerator), камеру, поддерживающую до шести мгновенных изображений с высоким разрешением. сенсорные потоки, два дисплея Display Port или HDMI 4K, расширение PCIe Generation 3, USB 3.1 и GPIO с шинами I2C, SPI, I2S, UART и CAN.

Спецификации NVIDIA Jetson включают следующее.

• Мощность в режимах 10 Вт или 15 Вт и вход 5 В.
• ЦП — 6-ядерный NVIDIA Carmel 64-бит ARMv 8.2 с частотой 1400 МГц.
• Графический процессор представляет собой 384-ядерный процессор NVIDIA Volta с частотой 1100 МГц и 48 тензорными ядрами.
• DL - Двойные двигатели NVDLA.
• Память — 8 ГБ 128-бит LPDDR4x на частоте 1600 МГц.
• 16 ГБ памяти eMMC 5.1.
• Камера 12-полосная MIPI CSI-2 | Камеры 3×4 или 6×2.
• До 6 камер (36 через виртуальные каналы).
• Термостойкость от -25°C до 90°C.
• Дисплей — DP 1.4, eDP 1.4 или HDMI 2.0 a/b с разрешением 4Kp60.
• Ethernet — это 10, 100 или 1000 BASE-T Ethernet.
• USB 3.1 и USB 2.0.

Этот модуль поддерживается всем программным стеком CUDA-X от NVIDIA, а также JetPack SDK для разработки ИИ. Он запускает очень популярные платформы машинного обучения и сложные DNN на нескольких потоках датчиков с высоким разрешением одновременно, в дополнение к компьютерному зрению, графике и мультимедийным приложениям в режиме реального времени в полной настольной среде Linux.

В настоящее время разработчики приступили к разработке приложений ИИ для Jetson Xavier NX с помощью Jetson AGX Xavier Developer Kit. Применение исправления шаблона устройства рядом с JetPack заставит устройство работать как Jetson Xavier NX. Это изменит количество ядер графического процессора и процессора, доступных с помощью программного обеспечения, и установит тактовые частоты, а также напряжения ядер в системе.

Патч является полностью обратимым, что используется для приближения производительности Jetson Xavier NX. Этот модуль классифицирует режимы мощности по умолчанию 10 Вт и 15 Вт, достигая пиковой производительности от 14 до 21 TOPS в зависимости от активного режима. Инструмент nvpmodel используется для обработки профилей мощности, чтобы настроить самые высокие частоты CLK для графического процессора, процессора, различных часов SoC и контроллера памяти вместе с различными кластерами процессора.

В зависимости от рабочей нагрузки регулятор DVFS (динамическое масштабирование напряжения и частоты) уравновешивает частоты во время работы до их наивысших пределов, как описано активной моделью nvp, таким образом, потребление энергии снижается в режиме ожидания и в зависимости от работы процессора. Инструмент nvpmodel помогает создавать и изменять новые режимы питания на основе TDP и требований приложений.

Модуль NVIDIA Jetson доводит производительность суперкомпьютера до предела в малом форм-факторе SOM (система-на-модуле). Равный 21 TOPS ускоренных вычислений направляет мощность для параллельного запуска текущих нейронных сетей и обработки данных с различных датчиков с высоким разрешением. Этот модуль идеально подходит для высокопроизводительных систем искусственного интеллекта, таких как медицинские инструменты, коммерческие роботы, встроенные системы AIoT, интеллектуальные камеры, автоматизированный оптический контроль, датчики высокого разрешения, интеллектуальные заводы и т. д.

Программное обеспечение

Модуль NVIDIA Jetson просто поддерживается с помощью комбинированных программных архитектур, что значительно упрощает работу разработчиков программного обеспечения. Этот комбинированный подход просто избавляет разработчика от хлопот, связанных с повторяющимся кодированием, и в то же время улучшает его формирование на других модулях Jetson.

SDK NVIDIA JetPack доступен с ОС Linux, ускоренными библиотеками CUDA-X и API для различных областей машинного обучения, таких как компьютерное зрение, глубокое обучение и т. д. Он также поддерживает платформы машинного обучения, такие как Caffe, TensorFlow, Keras и компьютерное зрение OpenCV. библиотеки.
NVIDIA Jetson предлагает различные программные инструменты для своих модулей, которые обсуждаются ниже.

SDK для NVIDIA JetPack

Пакеты программного обеспечения платформы Jetson, такие как TensorRT, CUDA Toolkit, cuDNN, GStreamer, OpenCV и Visionworks, собираются поверх L4T через ядро ​​LTS Linux.

Пакет драйверов NVIDIA Jetson для Linux

Он содержит ядро ​​Linux, драйверы NVIDIA, загрузчик, образец файловой системы, утилиты для прошивки и многое другое для платформы Jetson.

SDK NVIDIA DeepStream

Это набор API-интерфейсов и библиотек, которые помогают разработчикам разрабатывать и размещать надежные решения IVA (интеллектуальная видеоаналитика) на платформе Jetson. Он используется для создания сложных приложений, таких как кодирование, захват изображений, декодирование, вывод с помощью TensorRT и т. д.

NVIDIA Исаак SDK

Это набор библиотек, API, драйверов и других инструментов, которые добавят ИИ в роботов следующего поколения для навигации, восприятия и манипулирования. Таким образом, это помогает в создании и развертывании робототехники на базе ИИ.

Типы NVIDIA Jetson

Модуль NVIDIA Jetson поставляется с памятью, графическим процессором, процессором, высокоскоростными интерфейсами, управлением питанием и т. д. Эти модули доступны с различной производительностью, энергоэффективностью и различными форм-факторами, что позволяет использовать их в различных отраслях. Доступны различные устройства NVIDIA Jetson, которые обсуждаются ниже.

NVIDIA Джетсон Нано

Модуль NVIDIA Jetson Nano подходит для разработчиков или студентов, а также для начинающих, поскольку он в основном предназначен для практического обучения и преподавания. Размер этого модуля невелик, однако его энергоэффективность и производительность высоки, что делает его идеальным для одновременной работы нескольких параллельных нейронных сетей, рабочих нагрузок ИИ и обработки данных с датчиков высокого разрешения. Таким образом, модуль Jetson Nano — очень популярное периферийное устройство, которое используется для создания встроенных продуктов и решений ИИ.

Этот модуль идеально подходит для приложений компьютерного зрения на основе ИИ и выполняет задачи ИИ, такие как обнаружение объектов, сегментация изображений, классификация изображений и т. д. Этот модуль очень совместим с программным обеспечением компьютерного зрения с открытым исходным кодом и библиотеками машинного обучения OpenCV.

Серия NVIDIA Jetson TX2

Модуль серии NVIDIA Jetson TX2 имеет размер кредитной карты. Функции этого модуля в основном включают графический процессор NVIDIA Pascal, до 8 ГБ памяти, пропускную способность памяти 59,7 ГБ/с и стандартные аппаратные интерфейсы. Этот модуль обеспечивает производительность до 2,5 раз по сравнению с модулем NVIDIA Jetson Nano.

Этот модуль очень эффективно запускает глубокие нейронные сети на периферийных устройствах для достижения более высокой точности. Модули, доступные в этой серии, в основном включают Jetson TX2 4GB, Jetson TX2i, Jetson TX2 и Jetson TX2 NX. Модуль NVIDIA Jetson TX2 NX просто поддерживает совместимость по выводам и форм-фактору с модулями Jetson Xavier NX и Jetson Nano.

Остальные три модуля будут иметь форм-фактор оригинального модуля Jetson TX2. Использование серии TX2 просто варьируется в различных отраслях, таких как сельское хозяйство, производство, медико-биологические науки, розничная торговля и т. д. Модуль Jetson TX2i из оставшихся модулей наиболее подходит для высокопроизводительных устройств искусственного интеллекта, таких как медицинское оборудование, камеры машинного зрения и промышленные роботы, потому что своей прочной конструкции.

Этот модуль представляет собой очень быстрое встроенное вычислительное устройство ИИ, которое обеспечивает высокую энергоэффективность, например 7,5 Вт, возможности суперкомпьютера, в основном для периферийных устройств ИИ, а также различные аппаратные интерфейсы, которые можно легко интегрировать в различные продукты и форм-факторы.

NVIDIA Джетсон Ксавье NX

Модуль NVIDIA Jetson Xavier NX очень мал по сравнению с кредитной картой с высокой производительностью и энергоэффективностью. Он также известен как самый маленький в мире суперкомпьютер с искусственным интеллектом для периферийных и встроенных систем. Этот модуль особенно помогает в работе полных систем ИИ.

Функции Jetson Xavier NX также поддерживают облачные технологии, поэтому разработчикам легко обновлять и управлять продуктами ИИ. Этот модуль поддерживает все популярные модели и фреймворки ИИ. Таким образом, этот модуль полностью подходит для высокопроизводительных систем искусственного интеллекта, таких как интеллектуальные камеры, системы машинного зрения с высоким разрешением на базе искусственного интеллекта, дроны, коммерческие роботы или медицинское оборудование.

Модуль NVIDIA Jetson Xavier NX обеспечивает 21 тераоперацию в секунду или TOPS для выполнения текущей рабочей нагрузки ИИ, потребляя 10 Вт энергии. Форм-фактор этого модуля более компактен по сравнению с кредитной картой. Модуль Xavier NX запускает сразу несколько нейронных сетей и обрабатывает данные с разных датчиков высокого разрешения. Этот тип модуля используется для разработки приложений для встроенных и периферийных вычислительных устройств, которым требуется высокая производительность, но со значительными ограничениями по весу, размеру и мощности.

Серия NVIDIA Jetson AGX Xavier

Модуль NVIDIA Jetson AGX Xavier Series в основном разработан для автономных интеллектуальных машин следующего поколения. Этот модуль обеспечивает производительность ИИ до 32 TOPS или тера операций в секунду при использовании всего 10 Вт. Разработчику программного обеспечения просто позволено быстро организовать нейронные сети с помощью набора программных средств искусственного интеллекта NVIDIA.

Этот модуль предоставляет различные спецификации и возможности функциональной безопасности, чтобы разработчики могли создавать безопасные или промышленно сертифицированные продукты. Высокая производительность этого модуля делает его пригодным для многочисленных автономных машин, таких как логистические и промышленные роботы, заводские системы и большие дроны.

Комплект разработчика Jetson Xavier NX

Комплект разработчика jetson xavier nx включает надежный энергоэффективный модуль Xavier NX, используемый для периферийных устройств с искусственным интеллектом. Этот модуль имеет некоторые функции, такие как облачная поддержка и ускоряет стек программного обеспечения NVIDIA всего за 10 Вт, что более чем в 10 раз превышает производительность Jetson TX2. Этот комплект разработчика используется производителями интеллектуальных машин, стартапами ИИ и разработчиками приложений для разработки современных продуктов с компактными, высокоточными выводами ИИ и энергоэффективным форм-фактором.

Jetson AGX Xavier Industrial

Промышленный модуль Jetson AGX Xavier входит в серию AGX Xavier. Конструкция этого модуля представляет собой форм-фактор, совместимый по выводам, который управляет самыми современными моделями ИИ в требовательных приложениях. Этот модуль обеспечивает расширенные характеристики вибрации, ударов, температуры, расширенные функции безопасности, в 4 раза больше памяти и в 20 раз больше производительности по сравнению с модулем TX2i.

Этот модуль очень полезен для дизайнеров при разработке систем автоматизации, робототехники и других интеллектуальных продуктов. Кроме того, компания также разрабатывает сертифицированные по безопасности и защищенные продукты для обеспечения высокой производительности промышленных приложений со встроенным ИИ и обеспечения безопасности в надежном и энергоэффективном форм-факторе.

Преимущества

преимущества NVIDIA Jetson включая следующее.

• NVIDIA Jetson подходит для студентов, индивидуальных разработчиков и различных организаций.
• Платформа Jetson очень популярна благодаря различным преимуществам, таким как модульная гибкость, унифицированное программное обеспечение и поддержка облачных технологий.
• Эта плата предоставляет набор модулей, которые очень полезны для всего: от базовых приложений ИИ до очень сложных устройств на базе ИИ.
• Эта плата управляется питанием благодаря унифицированной программной архитектуре, которая помогает разработчикам от повторяющегося кодирования. Как только им понадобятся возможности AI/ML, они могут подключить к устройству соответствующий модуль Jetson, и он позаботится о тяжелой работе.
• Платформа NVIDIA Jetson просто поддерживает облачные технологии и рабочие процессы, такие как оркестрация и контейнеризация, предоставляя разработчикам возможность быстро разрабатывать и расширять продукты ИИ.
• SDK NVIDIA JetPack доступен с ОС Linux, API и библиотеками ускорения CUDA-X для различных областей машинного обучения, таких как компьютерное зрение и глубокое обучение. Он также обеспечивает поддержку сред машинного обучения, таких как Caffe и Keras, TensorFlow и библиотеки компьютерного зрения OpenCV.

Недостатки

У него очень мало недостатков, если принять во внимание цену

• Нано-модуль NVIDIA Jetson недоступен с Wi-Fi внутри.
• Модуль NVIDIA Jetson nano включает в себя только два контакта ШИМ на плате.

Приложения

Приложения NVIDIA Jetson включают следующее.

• Модуль NVIDIA Jetson предлагает превосходные системы встраивания, которые используются для создания продуктов ИИ для различных сценариев. Это энергоэффективный модуль, используемый для искусственного интеллекта, который включает в себя высокопроизводительные, модульные и компактные пограничные компьютеры.
• Платы Nvidia Jetson в основном предназначены для использования во встроенных системах, таких как дроны, роботы и другие устройства, которым требуется мощная обработка в небольшом форм-факторе. Общие области применения плат Jetson в основном включают медицинские устройства, автономные транспортные средства, цифровые вывески, гарнитуры AR / VR, приложения для умного города и т. д.
• Этот модуль поддерживает унифицированные программные архитектуры, что значительно упрощает работу разработчиков программного обеспечения.
  Модули и устройства NVIDIA Jetson — это оптимизированные периферийные устройства, используемые для разработки периферийных систем искусственного интеллекта.
• Комплект разработчика NVIDIA Jetson Nano — это очень мощный и небольшой компьютер, который параллельно запускает несколько нейронных сетей для различных приложений, таких как обнаружение объектов, классификация изображений, обработка речи и сегментация.
• Модуль NVIDIA Jetson Nano идеально подходит для приложений компьютерного зрения, основанных на искусственном интеллекте, и они выполняют задачи машинного зрения, такие как сегментация изображений, классификация изображений, обнаружение объектов и т. д.
• Модули Nano от NVIDIA Jetson привносят невероятные новые возможности в тысячи энергоэффективных и небольших систем искусственного интеллекта.
• Модуль NVIDIA Jetson Nano совместим с библиотеками машинного обучения OpenCV и программным обеспечением компьютерного зрения с открытым исходным кодом.

В). Какова потребляемая мощность модулей Jetson?

А). Энергопотребление модуля Jetson зависит от модели и использования. Модуль Jetson Xavier, например, потребляет от 15 Вт до 30 Вт, а Jetson TX2 может потреблять от 7 Вт до 15 Вт.

В). Можно ли использовать Jetson для обнаружения и отслеживания объектов в реальном времени?

А). Да, Jetson Platforms поддерживает обнаружение и отслеживание изображений. Модуль Nano представляет собой высокопроизводительный графический процессор с платформой граничных вычислений, который в основном может использоваться для обнаружения, подсчета и отслеживания.

В). С какими типами датчиков Jetson может взаимодействовать?

А). Датчики технического зрения используются для взаимодействия Jetson с различными интерфейсами камеры, такими как USB, MIPI CSI и Ethernet. Они также могут взаимодействовать с лидаром, ультразвуковым датчиком и другими типами, а также использовать различные типы интерфейса, такие как I2C, SPI и т. д.

В). В чем разница между Jetson и Raspberry Pi?

А). Основное различие между этими двумя платами заключается в следующем. NVIDIA Jetson была разработана для решения ресурсоемких задач искусственного интеллекта и компьютерного зрения, в то время как плата Raspberry Pi 4 оснащена мультимедийным графическим процессором с низким энергопотреблением, используемым для вычислений общего назначения и обучения. Jetson можно использовать для более продвинутых функций, таких как аппаратное ускорение декодирования и кодирования видео с использованием его мощного графического процессора (графического процессора) и центрального процессора (центрального процессора).

В). Можно ли использовать Jetson для автономных робототехнических приложений?

А). Автономная робототехника и промышленность завтрашнего дня будут опираться на мощность NVIDIA Jetson для интеллектуальных машин и робототехники.

Таким образом, это обзор NVIDIA Jetson – преимущества и его применение. Этот модуль является ведущей платформой во всем мире, которая используется разработчиками для создания передовых продуктов ИИ во всех отраслях. Эти модули также используются студентами и энтузиастами, чтобы получить практический опыт обучения ИИ для создания потрясающих проектов. Платформа Jetson в основном состоит из энергоэффективных небольших комплектов для разработчиков и производственных модулей. Вот вопрос к вам, что такое NVIDIA?