Nvidiaの新しいAIマジックは、2D写真を3Dグラフィックスに変換します

Nvidiaは、浅いグラフィックに奥行きを加えるための別の試みを行いました。

2D画像を3Dに変換した後 シーン、 モデル、 と ビデオ、同社は編集に焦点を合わせています。

GPUの巨人は本日、静止画を作成者が簡単に変更できる3Dオブジェクトに変換する新しいAIメソッドを発表しました。

3D MoMaと呼ばれるこのテクニックは、ゲームスタジオに画像やシーンを変更する簡単な方法を提供する可能性があります。 これは通常、写真から測定を行う時間のかかる写真測量に依存しています。

3D MoMaは、逆レンダリングによってタスクを高速化します。 このプロセスでは、AIを使用して、静止画像を分析することにより、ジオメトリから照明まで、シーンの物理的属性を推定します。 その後、写真はリアルな3D形式で再構成されます。

Nvidiaのグラフィックス研究担当副社長であるDavidLuebkeは、この手法を「コンピュータービジョンとコンピューターグラフィックスを統合する聖杯」と説明しています。

「逆レンダリング問題のすべての部分をGPUで高速化された差別化可能なコンポーネントとして定式化することにより、NVIDIA 3D MoMaレンダリングパイプラインは、最新のAIの機構とNVIDIA GPUの生の計算能力を使用して、作成者がインポート、編集、編集できる3Dオブジェクトをすばやく生成します。既存のツールを無制限に拡張できます」とLubeke氏は述べています。

3D MoMaは、オブジェクトを三角形メッシュとして生成します。これは、広く使用されているツールで簡単に編集できる形式です。 モデルは、単一のNVIDIA TensorCoreGPUで1時間以内に作成されます。

次に、スキンのようにメッシュにマテリアルをオーバーレイできます。 シーンの照明も予測されます。これにより、作成者はオブジェクトへの影響を変更できます。