Перейти до основного вмісту

Користувацький інтерфейс

Insight організовано навколо завдань, які ви виконуєте під час розробки та тестування застосунку комп’ютерного зору: перевірка файлів, підготовка медіафайлів, запуск джерел, перегляд результатів і моніторинг стану системи в середовищі виконання.

Робочий простір.​

Перегляд «Робочий простір» дає змогу переглядати файли проєкту, які є видимими для InsightУ. Neat Середовище розробки, зазвичай це /workspace; поза межами SDK, Insight повертається до поточної робочої директорії.

Використовуйте робочий простір для:

  • Шукайте та переглядайте вихідні файли, конфігурації, артефакти моделей і згенеровані результати.
  • Перегляд тексту, коду, розмітки Markdown, зображень і вибраних бінарних файлів.
  • Переглядайте архіви пакетів MPK, не розпаковуючи їх вручну.
  • Перегляньте спеціалізовані артефакти розробки, такі як статистичні дані MLA, файли маніфестів MPK і файли послідовностей конвеєра.

Робочий простір особливо корисний, коли програма генерує кілька результатів збірки та файлів журналів. Він надає вам можливість переглядати ці артефакти за допомогою веб-браузера, не покидаючи поточну сесію розробки.

Insight Вигляд робочого простору, що відображає графічну схему послідовності конвеєра та артефакти робочого простору.

Джерела медіа​

У розділі «Джерела медіа» ви можете додавати та керувати файлами медіа, які використовуються для тестування застосунку. Виберіть «Імпортувати медіа», щоб відкрити діалогове вікно імпорту, а потім оберіть одне з трьох джерел:

  • Локальні файли: виберіть або перетягніть один або кілька файлів зі свого комп’ютера. Файли H.264 MP4 оптимізуються для відтворення з низькою затримкою шляхом відключення B-кадрів, при цьому зберігається вихідна частота кадрів.
  • Каталог: Імпортуйте відео з кураторського каталогу SiMa для повторюваних тестів із відомими активами. Переглядайте за типом або назвою активу, здійснюйте пошук у каталозі, фільтруйте за роздільною здатністю, частотою кадрів і кодеком, переглядайте відео, а потім імпортуйте один варіант або виберіть і імпортуйте кілька відповідних активів.
  • YouTube: Вставте звичайне посилання на відео YouTube, підтвердіть його, щоб переглянути попередній перегляд, і виберіть час початку, тривалість кліпу та профіль виводу. Insight підтримує кліпи тривалістю 1, 3 або 5 хвилин у форматі 1080p30, 720p30 або 480p30. Імпортований кліп перетворюється на H.264, сумісний з WebRTC, при цьому B-кадри вимкнено. Активні прямі трансляції не підтримуються; використовуйте звичайне відео або архівну пряму трансляцію.

Для імпорту з каталогу та YouTube потрібен доступ до мережі. Insight відображає прогрес під час завантаження та підготовки медіафайлів, а потім зберігає результат у локальній медіатеці.

Підтримуються поширені формати відеоконтейнерів, такі як mp4, mov, avi, mkv та webm. Insight також розпізнає активи MJPEG і медіа HEVC/H.265 для потокового відтворення з урахуванням кодека. Медіафайли MJPEG і HEVC зберігаються, щоб їх можна було відтворювати з використанням їхньої оригінальної поведінки кодека.

Після імпорту медіафайлів ви можете фільтрувати список файлів, переглядати вибраний файл, перевіряти його основні метадані або видаляти файли, які більше не потрібні. Використовуйте розділ «Джерела медіа», перш ніж налаштовувати джерела потокового відтворення, щоб знати, які файли доступні, який кодек виявив Insight, і чи їх можна відтворити.

Insight Перегляд джерел медіа, що показує попередній перегляд вибраного відео та метадані медіа.

Розділ «Джерела медіа» об’єднує імпорт, вибір файлів, попередній перегляд, перевірку метаданих і видалення в одному вікні. Імпортовані активи каталогу зберігаються в розділі catalog/, а кліпи YouTube – у розділі youtube/, щоб ви могли визначити, як файли потрапили до бібліотеки.

Джерела потокового відео.​

Перегляд «Джерела потокового відео» перетворює завантажені медіафайли на активні слоти джерел. Кожен слот джерела може містити URL-адресу RTSP:

rtsp://127.0.0.1:8554/src1
rtsp://127.0.0.1:8554/src2
rtsp://127.0.0.1:8554/src3

Ці URL-адреси є правильними для програм, які працюють в одному контейнері SDK, що й Insight. Якщо програма працює на DevKit або на іншому зовнішньому пристрої, використовуйте IP-адресу хоста SDK і відображений хост-порт rtsp.tcp з neat --json.

Insight вибирає кодек і параметри передачі з призначених медіаданих:

  • Медіапотоки H.264, що передаються через RTSP, у форматі H.264.
  • Медіапотоки HEVC/H.265, що передаються через RTSP, у форматі H.265.
  • Медіаформат MJPEG може передаватися потоком через RTSP у форматі MJPEG або через HTTP як багатокомпонентний MJPEG.

Кодек визначається вибраним медіафайлом і не змінюється вручну в інтерфейсі користувача. MJPEG, що передається через RTSP, кодується у формат MJPEG, сумісний з RTP, тоді як HTTP MJPEG може зберігати кадри MJPEG для тестування HTTP у стилі, що імітує роботу камери.

Ви можете призначати медіафайли джерелам, запускати та зупиняти окремі джерела, автоматично призначати унікальні файли для слотів джерел, запускати кілька джерел одночасно, зупиняти всі потоки та копіювати URL-адреси потоків для використання в програмах або тестових середовищах.

Цей перегляд корисний, коли вам потрібні повторювані вхідні потоки для об’єктів, які використовуються в задачах виявлення, сегментації, відстеження, класифікації або в додатках комп’ютерного зору на основі генеративного штучного інтелекту.

Перегляд Insight Streaming Sources, �що показує призначені слоти джерел і попередній перегляд джерела.

Перегляд Streaming Sources дозволяє призначати медіафайли слотам джерел, запускати або зупиняти потоки, копіювати URL-адресу активного потоку та переглядати вибране джерело перед підключенням до програми.

Переглядач відео​

Відображувач відео показує потоки даних WebRTC з низькою затримкою, отримані від відеопередавача.

Для каналу N:

video:    UDP 9000 + N
metadata: UDP 9100 + N

Наприклад, канал 0 використовує відео UDP 9000 і метадані UDP 9100; канал 1 використовує відео UDP 9001 і метадані UDP 9101.

Якщо відправник працює на DevKit або на іншому зовнішньому пристрої, використовуйте відображені діапазони портів хоста для videoUDP і metadataUDP з neat --json. Логіка каналів залишається незмінною, але початкові порти можуть відрізнятися.

Переглядач може відображати метадані у вигляді накладок для стандартних вихідних даних візуалізації, зокрема для виявлення об’єктів, класифікації, оцінки пози, сегментації та відстеження. Налаштування переглядача дозволяють налаштувати поведінку накладок, наприклад, порогові значення впевненості, відображення області інтересу, історію відстеження та буферизацію синхронізації. Мітки часу метаданих використовують мілісекунди PTS джерела та не відображаються, якщо вони недоступні.

Використовуйте відеопереглядач, щоб перевірити:

  • Програма надсилає відео на відповідний канал.
  • Метадані надходять на відповідний канал метаданих.
  • Напівпрозорі елементи накладаються на відеокадр.
  • Відтворення в браузері працює належним чином.

Відображення Insight у програмі перегляду �відео, що показує чотириканальну сітку WebRTC.

Програма перегляду відео може одночасно відображати один або кілька каналів, а також містить елементи керування для навігації сторінками та вибору каналів для великих багатопотокових тестів.

Статистика​

У поточній версії розділ «Статистика» є лише тимчасовим заповнювачем. Він позначає заплановане місце розташування для відображення даних про навантаження на систему та показників у середовищі виконання під час роботи програми, зокрема дані про процесор, пам’ять, диск, температуру (за наявності), пам’ять MLA та дані про час виконання, які передаються через Insight.

Реалізація цієї функції планується в наступній версії. Після завершення реалізації використовуйте розділ «Статистика», коли вам потрібно відокремити поведінку програми від поведінки системи. Наприклад, проблема з втратою кадрів може виникати через потік даних програми, але також може бути пов’язана з навантаженням на процесор, використанням пам’яті або станом пристрою в середовищі виконання.

Інформація про систему.​

Панель інформації про систему узагальнює середовище, яке бачить Insight. У середовищі розробки Neat, воно може відображати інформацію про SDK і компоненти, статус Insight, інформацію про оновлення та відображені відображення портів, такі як mainUI і videoUI.

Це перше місце, куди слід звернутися, якщо URL-адреса не відповідає порту за замовчуванням. Insight зчитує доступну карту портів і використовує відображений порт videoUI під час відкриття переглядача. Для робочих процесів командного рядка neat --json відображає ту саму інформацію про карту портів.