メインコンテンツまでスキップ

ユーザーインターフェース

Insightは、ビジョンアプリケーションの検証を行う際に実行する開発タスクを中心に構成されており、ファイル検査、メディアの準備、ソースの起動、出力の確認、およびランタイムの健全性の監視などを行います。

ワークスペース​

ワークスペースビューでは、Insight で表示できるプロジェクトファイルを閲覧できます。Neat 開発環境では、通常これは/workspace です。SDK外では、Insight は現在の作業ディレクトリに戻ります。

ワークスペースを使って、次の操作を行います。

  • ソースファイル、設定、モデル成果物、および生成された出力の検索と参照。
  • プレビュー用のテキスト、コード、Markdown、画像、および選択されたバイナリファイルを表示します。
  • MPKパッケージのアーカイブを、手動で展開することなく検査します。
  • MLA統計、MPKマニフェスト、パイプラインシーケンスファイルなど、特定の開発成果物を確認できます。

ワークスペースは、アプリケーションが複数のビルド結果やログを生成する場合に特に役立ちます。ワークスペースを使用すると、同じ開発セッション内で、それらの成果物をブラウザからアクセスして確認できます。

Insight ワークスペースビュー。パイプラインのシーケンスグラフとワークスペースの成果物が表示されます。

メディアソース​

メディアソースは、アプリケーションのテストに使用するメディアファイルを登録および管理する場所です。メディアのインポートを選択してインポートダイアログを開き、次の3つのソースから選択します。

  • ローカルファイル: コンピューターから1つまたは複数のファイルを選択するか、ドラッグ＆ドロップしてください。H.264 MP4ファイルをアップロードすると、Bフレームを無効にして、低遅延再生のためにファイルが最適化され、元のフレームレートが維持されます。
  • カタログ: SiMaが厳選したビデオカタログからビデオをインポートし、既知のアセットを使用した再現性のあるテストを実行できます。アセットの種類または名前で参照したり、カタログを検索したり、解像度、フレームレート、コーデックでフィルタリングしたり、ビデオをプレビューしたり、次に、1つのバリアントをインポートするか、複数の該当するアセットを選択してインポートします。
  • YouTube: 通常のYouTube動画のURLを貼り付け、検証してプレビューを表示し、開始時間、クリップの長さ、および出力プロファイルを選択します。Insightは、1080p30、720p30、または480p30で、1分、3分、または5分のクリップをサポートします。インポートされたクリップは、Bフレームが無効になっているWebRTC互換のH.264に変換されます。ライブストリームはサポートされていません。通常の動画またはアーカイブされたライブストリームを使用してください。

カタログとYouTubeからのインポートにはネットワークアクセスが必要です。Insightは、メディアをダウンロードして準備する際に進捗状況を表示し、その結果をローカルメディアライブラリに保存します。

サポートされているビデオ形式には、mp4、mov、avi、mkv、およびwebmなどの一般的なコンテナ形式が含まれます。Insightは、MJPEGアセットとHEVC/H.265メディアも認識し、コーデックを意識したストリーミングを可能にします。MJPEGおよびHEVCメディアは、元のコーデックの動作でストリーミングできるように保存されます。

メディアをインポートした後、ファイルリストをフィルタリングしたり、選択したファイルのプレビューを表示したり、基本的なメタデータを調べたり、不要になったファイルを削除したりできます。ストリーミングソースを構成する前に、メディアソースを使用して、どのファイルが利用可能か、Insightがどのコーデックを検出したか、およびそれらが読み取り可能かどうかを確認してください。

Insight メディアソースの表示。選択した動画のプレビューとメディアメタデータが表示されます。

メディアソースは、インポート、ファイル選択、プレビュー、メタデータ検査、および削除アクションを1つのビューにまとめます。インポートされたカタログアセットはcatalog/に、YouTubeクリップはyoutube/に保存されるため、ファイルがどのようにライブラリに追加されたかを識別できます。

ストリーミングのソース​

「ストリーミングソース」ビューでは、アップロードされたメディアファイルをライブソーススロットに変換します。各ソーススロットは、RTSP URLを公開できます。

rtsp://127.0.0.1:8554/src1
rtsp://127.0.0.1:8554/src2
rtsp://127.0.0.1:8554/src3

これらのURLは、Insightと同じSDKコンテナーで実行されているアプリケーションに対して正しいものです。アプリケーションがDevKitまたは別の外部マシンで実行されている場合は、SDKホストのIPアドレスと、neat --jsonからマッピングされたrtsp.tcpホストポートを使用してください。

Insightは、割り当てられたメディアからコーデックとトランスポートオプションを選択します。

  • H.264形式で、RTSPを介してH.264メディアストリームを送信します。
  • H.265形式で、RTSPを介してHEVC/H.265メディアストリームを送信します。
  • MJPEGメディアは、RTSPを通じてMJPEG形式で、またはHTTPを通じてmultipart MJPEG形式でストリーミングできます。

コーデックは選択されたメディアによって決定され、UIで手動で変更することはできません。RTSP経由のMJPEGは、RTP互換のMJPEGにエンコードされ、HTTP MJPEGは、カメラ形式のHTTPテストのためにMJPEGフレームを保持できます。

メディアをソースに割り当てたり、個々のソースを開始および停止したり、ソーススロット間で一意のファイルを自動的に割り当てたり、複数のソースをまとめて開始したり、すべてのストリームを停止したり、アプリケーションまたはテストハーネスで使用するためにストリームURLをコピーしたりできます。

このビューは、オブジェクト検出、セグメンテーション、トラッキング、分類、またはGenAIビジョンアプリケーションのために、再現可能な入力ストリームが必要な場合に役立ちます。

Insight ストリーミングソースビュー。割り当てられたソーススロットとソースプレビューが表示されます。

ストリーミングソースビューでは、メディアファイルをソーススロットに割り当てたり、ストリームを開始または停止したり、アクティブなストリームURLをコピーしたり、アプリケーションに組み込む前に選択したソースをプレビューしたりできます。

ビデオビューワー​

ビデオビューワーには、ビデオ転送装置から送信される低遅延の WebRTC ストリームが表示されます。

チャンネル N について：

video:    UDP 9000 + N
metadata: UDP 9100 + N

たとえば、チャンネル 0 は、ビデオ UDP 9000 とメタデータ UDP 9100 を使用します。チャンネル 1 は、ビデオ UDP 9001 とメタデータ UDP 9101 を使用します。

送信側が DevKit または別の外部マシンで実行されている場合は、neat --json からマッピングされた videoUDP および metadataUDP のホストポート範囲を使用します。チャンネル間の計算は同じですが、開始ポートが異なる場合があります。

ビューアーは、オブジェクト検出、分類、姿勢推定、セグメンテーション、トラッキングなど、一般的なビジョン出力のメタデータオーバーレイをレンダリングできます。ビューアーの設定を使用すると、信頼度しきい値、ROI表示、トラッキング履歴、同期バッファーなど、オーバーレイの動作を調整できます。メタデータのタイムスタンプは、ソースの PTS ミリ秒を使用し、利用できない場合は省略されます。

ビデオビューアーを使用して確認してください。

  • アプリケーションは、指定されたチャンネルにビデオを送信しています。
  • メタデータが、対応するメタデータチャンネルに送信されてきます。
  • オーバーレイはビデオフレームに合わせて配置されます。
  • ブラウザでの再生は正常です。

Insightビデオビューワーは、4つのチャンネルをグリッド形式で表示します。WebRTC

ビデオビューワーは、一度に1つまたは複数のチャンネルを表示でき、ページネーションやチャンネル選択コントロールを備えており、大規模なマルチストリームテストに適しています。

統計​

現在のリリースでは、統計情報表示はプレースホルダーとして機能します。アプリケーションが実行されている間に、システム負荷やランタイムに関するメトリクス（CPU、メモリ、ディスク、利用可能な場合の温度、MLAメモリ、およびInsightを通じてストリーミングされるプロファイリングのタイムラインデータなど）を表示する予定の場所を示します。

この機能は、次回のリリースで完成させる予定です。完成したら、アプリケーションの動作とシステムの動作を分離する必要がある場合に、統計情報表示を使用してください。たとえば、フレームの描画が途切れる問題は、アプリケーションのストリームパスに起因する可能性がありますが、CPU負荷、メモリの使用状況、またはデバイスのランタイム状態とも関連している可能性があります。

システム情報​

システム情報パネルには、Insight が認識できる環境の概要が表示されます。Neat 開発環境では、SDK とコンポーネントの情報、Insight のステータス、更新情報、および mainUI や videoUI などの公開ポートマッピングが表示されます。

URL がデフォルトポートと一致しない場合に最初に確認すべき場所です。Insight は、利用可能なポートマップを読み取り、ビューアーを開く際にマッピングされた videoUI ポートを使用します。コマンドラインワークフローの場合、neat --json は同じポートマップ情報を表示します。