跳至主要内容

使用者介面

Insight 的設計是以您在驗證視覺應用程式時所執行的開發任務為中心：檢查檔案、準備媒體、啟動來源、檢視輸出，以及監控執行階段的狀態。

工作區​

「工作區」檢視可讓您瀏覽對 Insight 可見的專案檔案。在 Neat 開發環境中，這通常是 /workspace；在 SDK 之外，Insight 會切換到目前的本機目錄。

使用「工作區」來：

  • 搜尋和瀏覽原始檔案、設定、模型成品以及產生的輸出結果。
  • 預覽文字、程式碼、Markdown 格式、圖片，以及選取的二進位檔案。
  • 無需手動解壓縮，即可檢查 MPK 套件檔案。
  • 檢視專用開發構件，例如 MLA 統計資料、MPK 資訊檔和流程序列檔案。

工作區在應用程式產生多個建置輸出和日誌時特別有用。它提供一種可透過瀏覽器存取的檢視方式，讓您可以在相同的開發階段中檢查這些構件。

Insight 工作區檢視，顯示流程序列圖和工作區構件。

媒體來源​

「媒體來源」是您新增和管理用於應用程式測試的媒體檔案的地方。選取「匯入媒體」以開啟匯入對話方塊，然後選擇以下三種來源之一：

  • 本機檔案：選擇或將一個或多個檔案從您的電腦拖曳到此處。上傳的 H.264 MP4 檔案會經過處理，以實現低延遲播放，同時停用 B 幀，但保留原始幀率。
  • 目錄：從 SiMa 整理的影片目錄中匯入，以便進行可重複的測試，並使用已知的素材。您可以按素材類型或名稱瀏覽，搜尋目錄，按解析度、幀率和編碼器進行篩選，預覽影片，然後匯入一個變體，或選擇並匯入多個符合條件的素材。
  • **YouTube：**貼上一般的 YouTube 影片網址，驗證後即可顯示預覽，然後選擇開始時間、片段長度和輸出設定。Insight 支援 1 分鐘、3 分鐘或 5 分鐘的片段，解析度為 1080p30、720p30 或 480p30。匯入的片段會轉換為適合 WebRTC 的 H.264 格式，並停用 B 幀。目前不支援即時直播；請使用一般影片或已儲存的直播影片。

從目錄和 YouTube 匯入需要網路連線。Insight 會在下載和準備媒體時顯示進度，然後將結果儲存在本機媒體庫中。

支援的影片格式包括常見的容器格式，例如 mp4、mov、avi、mkv 和 webm。Insight 還能識別 MJPEG 資源和 HEVC/H.265 媒體，以便進行支援特定編解碼器的串流。MJPEG 和 HEVC 媒體會保留，以便可以使用其原始編解碼器行為進行串流。

匯入媒體後，您可以篩選檔案清單、預覽選取的檔案、檢查其基本中繼資料，或刪除不再需要的檔案。在使用「媒體來源」設定串流來源之前，請先使用「媒體來源」，這樣您就可以知道哪些檔案可用、Insight 偵測到哪些編解碼器，以及它們是否可讀。

Insight 媒體來源檢視畫面，顯示選取的影片預覽和媒體中繼資料。

「媒體來源」將匯入、檔案選取、預覽、中繼資料檢查和刪除操作結合在一個視窗中。從目錄匯入的資源會儲存在 catalog/ 下，而 YouTube 影片片段會儲存在 youtube/ 下，因此您可以識別檔案是如何進入媒體庫的。

串流媒體來源​

「串流來源」檢視會將上傳的媒體檔案轉換為即時來源插槽。每個來源插槽都可以顯示一個 RTSP URL：

rtsp://127.0.0.1:8554/src1
rtsp://127.0.0.1:8554/src2
rtsp://127.0.0.1:8554/src3

這些 URL 對於在與 Insight 相同的 SDK 容器中執行的應用程式而言是正確的。如果應用程式在 DevKit 或其他外部機器上執行，請使用 SDK 主機的 IP 位址，以及從 neat --json 中映射的 rtsp.tcp 主機連接埠。

Insight 會從已指派的媒體中選擇編解碼器和傳輸選項：

  • 透過 RTSP 傳輸 H.264 媒體串流，格式為 H.264。
  • 透過 RTSP 傳輸 HEVC/H.265 媒體串流，格式為 H.265。
  • MJPEG 媒體可以透過 RTSP 以 MJPEG 格式串流，或透過 HTTP 以多部分 MJPEG 格式串流。

編碼器是由所選的媒體決定，且不會在使用者介面中手動更改。透過 RTSP 傳輸的 MJPEG 會被編碼成與 RTP 相容的 MJPEG，而 HTTP MJPEG 則可以保留 MJPEG 幀，以便進行類似相機的 HTTP 測試。

您可以將媒體指派給一個來源，啟動和停止個別的來源，自動將唯一的檔案指派給不同的來源插槽，批量啟動來源，停止所有串流，並複製串流 URL 以供應用程式或測試工具使用。

當您需要針對物件偵測、分割、追蹤、分類或 GenAI 視覺應用程式，建立可重複的輸入串流時，這個檢視畫面會很有用。

Insight 串流來源檢視畫面，顯示已指派的來源插槽和來源預覽。

「串流來源」檢視畫面可讓您將媒體檔案指派給來源插槽，啟動或停止串流，複製作用中的串流 URL，並在將其連接到應用程式之前預覽所選的來源。

影片檢視器​

視訊檢視器會顯示來自視訊轉發器的低延遲 WebRTC 串流。

對於頻道 N：

video:    UDP 9000 + N
metadata: UDP 9100 + N

例如，頻道 0 使用視訊 UDP 9000 和中繼資料 UDP 9100；頻道 1 使用視訊 UDP 9001 和中繼資料 UDP 9101。

如果傳送者在 DevKit 或其他外部機器上執行，請使用從 neat --json 映射的 videoUDP 和 metadataUDP 主機連接埠範圍。 頻道數學運算相同，但起始連接埠可能不同。

檢視器可以呈現常用視覺輸出（包括物件偵測、分類、姿勢估計、分割和追蹤）的中繼資料疊加層。 檢視器設定可讓您調整疊加層行為，例如置信度閾值、ROI 顯示、追蹤歷史記錄和同步緩衝。 中繼資料時間戳使用來源 PTS 毫秒，如果無法使用，則會省略。

使用視訊檢視器進行確認：

  • 應用程式正在將影片傳送到預期的頻道。
  • 中繼資料即將傳送到對應的中繼資料通道。
  • 疊圖會與影片畫面對齊。
  • 瀏覽器播放功能運作正常。

Insight 影片檢視器顯示一個四通道 WebRTC 網格。

影片檢視器可以一次顯示一個或多個通道，並提供分頁和通道選擇控制項，以便進行更大規模的多串流測試。

統計資料​

目前的版本中，「統計資料」檢視僅為一個佔位符。它標示了應用程式執行期間，系統負載和執行階段指標的預定位置，包括 CPU、記憶體、磁碟、溫度（如果有的話）、MLA 記憶體，以及透過 Insight 串流傳輸的分析時間軸資料。

此功能預計在下一個版本中完成。完成後，當您需要將應用程式行為與系統行為分開時，請使用「統計資料」。例如，畫面遺漏問題可能來自應用程式串流路徑，但也可能與 CPU 負載、記憶體壓力或裝置執行階段狀態相關。

系統資訊​

系統資訊面板會摘要說明 Insight 可以檢視的環境。在 Neat 開發環境中，它可以顯示 SDK 和元件資訊、Insight 狀態、更新資訊，以及公開的連接埠對應，例如 mainUI 和 videoUI。

當 URL 與預設連接埠不符時，這是您應該首先檢查的地方。Insight 會讀取可用的連接埠對應，並在開啟檢視器時使用對應的 videoUI 連接埠。對於命令列工作流程，neat --json 會顯示相同的連接埠對應資訊。