Документація щодо апаратного забезпечення SiMa.ai.
Використовуйте цей сайт для отримання інформації про налаштування обладнання, робочі процеси прошивки та низькорівневі інтерфейси для продуктів SiMa.ai MLSoC Modalix. Документація щодо програмного забезпечення, машинного навчання та інструментів для створення конвеєрів наведена окремо.
Огляд апаратного забезпечення SiMa.ai
SiMa.ai пропонує MLSoC Modalix як мікросхему, на модулі та в готових продуктах. Почніть із формфактора, який у вас є або який ви плануєте використовувати.
| Продукт | Що це | Почніть тут |
|---|---|---|
| MLSoC Modalix | Система на кристалі. Ви розміщуєте її на платі, яку проєктуєте самі. | Розробка на основі SoC |
| Modalix SoM | Модуль із SoC, пам’яттю LPDDR5 і живленням. Він вставляється в плату-носій. | Розробка на основі SoM |
| Modalix DevKit | Modalix SoM на платі-носії в корпусі для оцінювання та розробки. | Оцінювання DevKit |
| Modalix PCIe Card | Карта половинної висоти та довжини, яка додає хост-машині можливості інференсу Modalix. | Режим PCIe |
Щоб змінити системне програмне забезпечення або додати камеру на будь-якому з них, див. розділи Збирання системного ПЗ та Інтеграція камер.
SoM чи Chip-Down
Щоб створити власне обладнання, оберіть між платою-носієм для Modalix SoM і платою з SoC, розміщеною безпосередньо на ній. Вони потребують різних робіт із проєктування, різної документації та різного запуску плати.
| Проєктування з розміщенням мікросхеми на платі | Проєктування плати-носія | |
|---|---|---|
| Що ви проєктуєте | Плату з корпусованою мікросхемою Modalix SoC, включно з пам’яттю, живленням і тактуванням | Плату-носій для модуля Modalix SoM, на якому вже розміщено SoC, LPDDR5 та живлення |
| Основна робота з проєктування | Послідовність подачі живлення, тактування та скидання, трасування й налаштування LPDDR5, високошвидкісне трасування, інтерфейси, тепловий режим | Розподіл контактів роз’єму, подача живлення, інтерфейси, тепловий режим |
| Документація | Посібник із проєктування з розміщенням мікросхеми на платі, технічний паспорт SoC і пакети проєктної документації, які SiMa.ai надає за угодою про нерозголошення (NDA) | Загальнодоступні технічні паспорти та посібник із запуску плати |
| Відправна точка для програмного забезпечення | Modalix BSP з адаптацією на рівні плати | Modalix BSP зі змінами дерева пристроїв для вашої плати-носія |
Щойно плата завантажується, обидва шляхи використовують те саме системне програмне забезпечення. Див. розділ Збирання системного ПЗ.
Про MLSoC Modalix
MLSoC Modalix — це друге покоління системи на кристалі для машинного навчання від SiMa.ai. Вона поєднує в собі обчислювальний комплекс Arm Cortex-A65, високопродуктивний прискорювач машинного навчання (MLA), процесор обробки зображень (ISP) для обробки даних з камери та блок комп’ютерного зору (CVU) для класичних задач обробки зображень — і все це розміщено на одному кристалі.
Ця інтеграція дозволяє запускати мультимодальні, генеративні та візуальні ШІ-конвеєри на периферійних пристроях без об’єднання окремих прискорювачів, центральних процесорів і камерних інтерфейсів. Модуль Modalix SoM містить MLSoC Modalix для інтеграції з платою-носієм та в продукт, і кожен комплект розробника, описаний тут, використовує один і той самий чип.
Портфоліо DevKit.
SiMa.ai пропонує набори для розробки та продукти PCIe на базі MLSoC Modalix для застосувань штучного інтелекту на периферійних пристроях. Оберіть продукт нижче або порівняйте характеристики в таблиці.
Modalix DevKit
Поточний набір для розробки, призначений для оцінки MLSoC Modalix і створення застосунків на основі SoM Modalix.
Modalix PCIe-карта
Платформа Half-Height/Half-Length (HHHL), розроблена для масштабованих периферійних обчислювальних систем.
Набір для розробки Modalix Early Access
Застарілий набір для розробки для існуючих користувачів програми Early Access.
Порівняння функцій
| Функція | Modalix DevKit | PCIe-карта Modalix | Набір для розробників програми раннього доступу Modalix |
|---|---|---|---|
| Документація та операційна система | |||
| Короткий опис продукту. | перегляд | перегляд | перегляд |
| Попередньо встановлена операційна система | eLxr Linux | eLxr Linux | eLxr Linux |
| Обчислення | |||
| Ядра ARM | 8 ядер Arm Cortex-A65, тактова частота 1,4 ГГц | 8 ядер Arm Cortex-A65, тактова частота 1,4 ГГц | 8 ядер Arm Cortex-A65, тактова частота 1,4 ГГц |
| Процесор обробки зображень (ISP) | Процесор Arm Mali-C71AE, тактова частота 1,2 ГГц. | Процесор Arm Mali-C71AE, тактова частота 1,2 ГГц. | Процесор Arm Mali-C71AE, тактова частота 1,2 ГГц. |
| Блок комп’ютерного зору (CVU) | Synopsys EV74, 720 16-бітних GOPS | Synopsys EV74, 720 16-бітних GOPS | Synopsys EV74, 720 16-бітних GOPS |
| Пам’ять і накопичувач | |||
| Обсяг оперативної пам’яті | 16 ГБ LPDDR5 (32 ГБ у раніших наборах) | 8 ГБ або 16 ГБ LPDDR5 | 64 ГБ LPDDR5 |
| Сховище | 16 ГБ eMMC, 500 ГБ NVMe | 32 ГБ eMMC | 10 ГБ eMMC |
| Слот для SD-карти | ✖ | ✔ | ✔ |
| Мережеві технології | |||
| Ethernet | 1x 1 Гбіт/с Ethernet | 1x 10 Гбіт/с Ethernet | 1x 1 Гбіт/с Ethernet (end0), 1x 10 Гбіт/с Ethernet (end1), 2x 10 Гбіт/с SFP+ (end2/3) |
| Входи камери | |||
| MIPI CSI | 2 порти MIPI CSI, кожен з 2 лініями | ✖ | 4 канали MIPI CSI, кожен з 4 лініями |
| GMSL2 через FAKRA | ✖ | 2x GMSL2 через FAKRA | ✖ |
| Введення/Виведення та Дисплей | |||
| GPIO / Роз’єми | 40-контактний GPIO-роз’єм | ✖ | 40-контактний GPIO-роз’єм |
| USB | 4 порти USB 3.2 | ✖ | ✖ |
| HDMI | 1 порт HDMI 1.4 | ✖ | ✖ |
| Графічний контролер | Silicon Motion SM768 | ✖ | ✖ |
| Відеокодеки | |||
| Кодер H.264/H.265 | 4kp60 | 4kp60 | 4kp60 |
| Кодер MJPEG | 4kp30 | 4kp30 | 4kp30 |
| Декодер H.264/H.265. | 4kp60 | 4kp60 | 4kp60 |
| Декодер AV1 і MJPEG. | 4kp60 | 4kp60 | 4kp60 |
| Формфактор | |||
| PCIe-карта, підключена до хост-системи | ✖ | ✔ | ✖ |
Архітектури розгортання
MLSoC Modalix підтримує дві поширені архітектури розробки: автономний режим і режим PCIe. Оберіть архітектуру, яка відповідає способу підключення вашого обладнання та місцю, де працює ваш застосунок.
- Автономний режим
- Режим PCIe
У автономному режимі, пристрій Modalix DevKit або спеціальна система на базі модуля Modalix SoM працює як самостійний пристрій. Використовуйте цей режим, коли пристрій отримує дані безпосередньо від датчиків, камер, накопичувачів або мережевих інтерфейсів.
Основні сценарії використання
- Застосування периферійного штучного інтелекту: здійснюйте обчислення безпосередньо на пристрої, не покладаючись на центральний сервер або хмарну інфраструктуру.
- Компактні розгортання: зменшують потребу в додатковому апаратному забезпеченні для хостів.
- Системи з обмеженим енергоспоживанням: Підтримка систем віддаленого моніторингу, що працюють від акумуляторів або сонячних панелей.
Переваги
- Автономний: працює без підключення до хост-машини.
- Енергоефективність: підтримує роботу в середовищах, де важливе енергоспоживання.
- Компактний: підходить для розгортання в умовах обмеженого простору.
Типовий потік даних
- DevKit отримує дані безпосередньо з мережевих інтерфейсів або датчиків.
- DevKit завантажує застосунок NEAT, який визначає конвеєр обчислень, що виконується безпосередньо на пристрої.
- MLSoC Modalix виконує обчислення та обробляє дані локально.
- Результати надсилаються на інші пристрої або системи через мережеві з’єднання для подальших дій або візуалізації.
У режимі PCIe, карта Modalix PCIe встановлюється в хост-машину. Використовуйте цей режим, коли сервер, настільний комп’ютер або робоча станція виконує оркестрування, зберігання даних і обробку вхідних/вихідних даних, а карта забезпечує прискорення обчислень Modalix.
Основні сценарії використання
- Високопродуктивні системи: використовуйте сервер або робочу станцію в центрі обробки даних для обробки та зберігання даних, а карту Modalix PCIe використовуйте для виконання обчислень.
- Керування вводом-виводом хостом: Використовуйте сховище, мережу або датчики хоста, передаючи при цьому обчислення на карту.
Переваги
- Спеціалізоване прискорення: Перенесіть обчислення з центрального процесора хоста на апаратне забезпечення Modalix.
- Можливість розширення: Додавайте обчислювальні модулі за потреби.
Типовий процес обробки даних
- Хост-машина збирає дані з датчиків, периферійних пристроїв, накопичувачів або мережевих інтерфейсів.
- Карта Modalix PCIe завантажує застосунок NEAT, який містить конвеєр висновків і адаптовану модель штучного інтелекту.
- Хост-система надсилає дані на карту Modalix PCIe через інтерфейс PCIe.
- Хост обробляє результати або передає їх до наступних систем.
Оберіть свій шлях
Оцінювання DevKit
Налаштуйте Modalix DevKit або PCIe-карту, підтриму йте їх в актуальному стані та почніть розробку.
Розробка на основі SoM
Виберіть плату-носій для Modalix SoM або спроєктуйте й запустіть власну.
Розробка на основі SoC
Розмістіть Modalix SoC безпосередньо на власній платі.
Збирання системного ПЗ
Зберіть ядро, U-Boot і дерева пристроїв та прошийте власний образ.
Інтеграція камер
Виберіть підтримувану камеру MIPI, під’єднайте її та виберіть оверлей.
Довідкові матеріали та завантаження
Знайдіть короткі описи продуктів, технічні паспорти, посібники з проєктування, схеми контактів і технічні нотатки.
Уже знаєте, що вам потрібно?
- Зібрати ядро, U-Boot і дерева пристроїв
- Написати оверлей дерева пристроїв
- Знайти вихідний коміт для випуску
- Прошити власний образ на плату
- Зібрати пакет оновлення
- Порівняти плати-носії
- Призначення контактів GPIO, UART, I2C та SPI
- Налаштувати камери MIPI
- Оновити або відновити DevKit
- Прошивати й тестувати плати на виробництві
- Знайти технічний паспорт або проєктний документ
Почніть роботу
Оберіть шлях, який відповідає вашій конфігурації. Кожен посібник охоплює доступ через послідовну консоль, налаштування мережі та керування прошивкою для відповідного режиму.
Короткий посібник зі швидкого старту
Покрокова інтерактивна інструкція для першого налаштування DevKit.
Автономний режим
Запустіть DevKit Modalix або систему на основі Modalix SoM як самостійний периферійний пристрій.
Режим PCIe
Встановіть PCIe-карту Modalix у хост-машину для апаратного прискорення обчислень.