金曜日、世界の研究者らは、 NVIDIA Magic3D - テキストの説明から 3D モデルを生成できる人工知能モデルを発表しました。 「スイレンの上に座っている青いヤドクガエル」などの手がかりを入力すると、Magic3Dはカラーテクスチャを備えた40Dメッシュモデルを約分で生成する。変更を加えれば、結果のモデルは CGI 形式のビデオ ゲームやアート シーンで使用できます。
彼の科学論文の中で NVIDIA Magic3D は、Google 研究者が 3 月に発表したテキストから 2D へのモデルである DreamFusion への応答であると考えています。 DreamFusion がテキストから画像へのモデルを使用して 3D 画像を作成し、それがボリューム NeRF (神経放射フィールド) データに最適化されるのと同じように、Magic3D は、低解像度で作成された大まかなモデルを取得し、それを最適化する 段階のプロセスを使用します。より高い解像度。この記事の著者によると、結果として得られた MagicD メソッドは、DreamFusion の 倍の速さで 次元オブジェクトを生成できるそうです。
Magic3D は、3D メッシュのオンザフライ編集も実行できます。 低解像度の 3D モデルと基本的なツールチップを使用して、テキストを変更して結果のモデルを変更できます。 Magic3D は、同じプロットを数世代にわたって保存すること (一貫性と呼ばれることが多い概念) と、2D モデルへの 3D 画像スタイル (キュビズム絵画など) の適用も示します。
NVIDIA 彼女の研究活動では、Magic3D コードは一切公開されませんでした。
テキストから 3D を生成する機能は、最新の拡散モデルの自然な進化のように思われます。最新の拡散モデルでは、ニューラル ネットワークを使用して、一連のデータを集中的にトレーニングした後、新しいコンテンツを合成します。 DALL-E や Stable Diffusion などの強力なテキストから画像へのモデル、および Google や Meta の基本的なテキストからビデオへのジェネレーターが登場したのは 2022 年になってからです。
Magic3D に関しては、その背後にいる研究者は、特別なトレーニングを必要とせずに誰でも 3D モデルを作成できるようになることを望んでいます。 洗練された技術は、ビデオ ゲーム (および仮想現実) の開発を加速し、最終的には映画やテレビの特殊効果に使用される可能性があります。 彼らの記事の最後に、彼らは次のように書いています。
ウクライナがロシアの侵略者と戦うのを助けることができます。 これを行う最善の方法は、ウクライナ軍に資金を寄付することです。 セーブライフ または公式ページから NBU.
また読む：