Apple は人工知能市場の主要企業の 1 つではありませんが、テクノロジー巨人の画像編集用の新しいオープンソース AI モデルは、同社がこの分野にどれだけ貢献できるかを示しています。
このモデルは MLLM ガイド付き画像編集 (MGIE) と呼ばれ、マルチモーダル大規模言語モデル (MLLM) を使用して画像処理でテキスト コマンドを解釈します。言い換えれば、このツールを使用すると、ユーザーは入力したテキストに基づいて写真を編集することができます。これがこれを実現できる最初のツールではないが、「人間の指示は最新の方法では短すぎる場合があり、それを捕捉して実行するには」とプロジェクト文書には記載されている。
同社はカリフォルニア大学の研究者と共同でMGIEを開発した。 MLLM は、単純または曖昧なテキスト プロンプトを、写真編集者が従うことができる、より詳細でわかりやすい指示に変換できます。たとえば、ユーザーがペパロニピザの写真を編集して「より健康的に」したい場合、MLLM はそれを「野菜のトッピングを追加する」と解釈し、それに応じて写真を編集できます。
MGIE では、基本的な画像の変更に加えて、写真のトリミング、サイズ変更、回転のほか、明るさ、コントラスト、カラー バランスの改善もすべてテキスト プロンプトで行うことができます。このツールを使用して、写真の特定の領域を編集することもできます。たとえば、写真に写っている人物の髪、目、服装を変更したり、背景の要素を削除したりすることができます。
Apple ～を通じてモデルをリリースしました GitHubの、ただし、興味のある方は、現在 Hugging Face Spa でホストされているデモ バージョンを試すこともできます。ces。同社は、プロジェクトから学んだことを自社製品に組み込む可能性のあるツールや機能として使用する予定があるかどうかはまだ明らかにしていない。
また読む：