映像の新しいパラダイム
Kira Engineは映像ストリームをフレーム単位で制御できます。毎フレーム実行されるコードを書き、任意の機械学習モデルをロードし、リアルタイムで映像を変換。サーバーなし、遅延なし、可能性は無限大。
プログラマブルエフェクト + AIモデル
アプローチを選択するか、両方を組み合わせて最大のクリエイティブパワーを発揮。
プログラマブルエフェクト
毎フレーム実行されるコードを記述。検出データ（顔、ポーズ、手）とビデオストリームへのフルアクセス。何でも、どこにでも描画。すべてのピクセルを制御。
- フレーム単位のコード実行
- 478の顔ランドマークへのアクセス
- ポーズと手のトラッキングデータ
- キャンバス/WebGLへのフルアクセス
AIストリームトランスフォーマー
ビデオストリームを受け取り、変換されたストリームを出力するAIモデルをプラグイン。スタイル転送、顔交換、拡散 - モデルがすべてを処理。
- ストリーム間の変換
- リアルタイムスタイル転送
- 顔交換とモーフィング
- 任意の拡散/生成モデル
両方を組み合わせ
検出データを使用してAIモデルを制御したり、AI変換されたストリームの上にプログラマブルエフェクトをレイヤー。パイプラインは任意の組み合わせをサポート。
例：顔検出を使用してスタイル変更をトリガーし、変換された出力にカスタムグラフィックをオーバーレイ。
ブラックボックスではなく、ビルディングブロック
Kira Engineは設計からモジュラー。必要なプラグインだけを組み立て、バンドルを軽く保ち、独自のもので拡張。
プラグインシステム
すべてがプラグイン。ビジョンモデル、レンダラー、エフェクト - 必要なものを組み合わせて構築。
- モジュラーアーキテクチャ
- ホットスワップ可能なコンポーネント
- カスタムプラグインAPI
オプトインローディング
デフォルトでは何もロードされない。必要なプラグインだけを有効化 - 無駄なし、リソースの浪費なし、最大のパフォーマンス。
- デフォルトでオーバーヘッドゼロ
- 遅延ロード組み込み
- 使うものだけバンドル
独自モデルを持ち込み
任意のMLモデルをプラグインとしてロード。Hugging Face、ONNX、TensorFlow.js、または独自トレーニングモデル。
- Hugging Face Transformers.js
- ONNX Runtime Web
- TensorFlow.js互換
すぐに使えるビジョンプラグイン
MediaPipeで動作する実績のあるプラグインセットを同梱。トラッキングデータが必要な時に有効化 - 完全にオプショナル。
すべてのプラグインはオプトイン。明示的に有効化された時のみロード。
Faceプラグイン
ランドマーク、ブレンドシェイプ、変換行列を含む完全な顔分析。
- 478の顔ランドマーク
- 52の表情ブレンドシェイプ
- 顔変換行列
- マルチフェイス対応（最大10）
Handsプラグイン
ジェスチャーベースのインタラクション用の精密な手と指のトラッキング。
- 各手21ランドマーク
- 両手同時対応
- 指関節位置
Poseプラグイン
没入型アバター体験のための全身スケルトントラッキング。
- 33の身体ランドマーク
- リアルタイムスケルトンデータ
- 上半身・下半身トラッキング
さらなるプラグインが近日登場 - 拡散モデル、セグメンテーション、深度推定、コミュニティ貢献など。
パフォーマンスのために設計
リアルタイム映像は妥協を許さない。すべてのコンポーネントがスムーズで一貫したフレーム配信のために最適化。
安定した60fps
インテリジェントなフレームスケジューリングと並列実行により、処理の複雑さに関係なくスムーズな出力を保証。
スマートメモリ管理
自動リソースプーリング、遅延ロード、継続的な映像処理に最適化されたガベージコレクション。
ユニバーサル互換性
適応型品質スケーリングがデスクトップ、ラップトップ、タブレット、モバイルで動作。同じコード、すべてのデバイス。
GPUアクセラレーション
ハードウェアアクセラレーションレンダリングとコンピュートシェーダーを備えたWebGL 2.0コンポジットパイプライン。
100%オンデバイス
すべての処理はローカルで実行。映像データはブラウザから外に出ない。サーバー依存ゼロ。
純粋なウェブ技術
プラグイン不要、インストール不要、ネイティブコード不要。ブラウザが動けば、Kira Engineが動く。
何を作る？
次世代のリアルタイム映像体験のためのツールがここに。
VTubing
表情同期とジェスチャー制御を備えたフルボディアバターパペッティング。
顔変換
リアルタイムの顔交換、エイジング、デエイジング、アイデンティティモーフィング。
ARエフェクト
インタラクティブフィルター、フェイスペイント、バーチャルメイク、拡張オーバーレイ。
スタイル転送
芸術的スタイル、カートゥーンエフェクト、カスタム美学をライブ映像に適用。