ファイ人工知能モデルによる Microsoft - 小さく、安価で、「幻覚」に悩まされません。これは、素晴らしい将来があると予測されている新しい言語モデルについて彼らが言っていることです。
GPT は非常に優れていますが、同時に非常に高価であり、すべての人にとって完璧であるとは限りません。これらおよび他の多くの理由により Microsoft は、はるかに小さな AI モデルを実験しています。 Phi-3-mini は、OpenAI エンジニアの仕事さえも顔負けにすると言われています。
また興味深い： 未来のトランジスタ: チップの新時代が私たちを待っています
ChatGPT は万能薬ではありません
ChatGPT は資金提供され、キュレーションされ、改良された発明です Microsoft。実はそれは属してないんです Microsoft、OpenAI という会社 Microsoft は所有していません（彼女は最大ではありませんが、主導的な投資家です）。 GPT 言語モデルは次のように与えました。 Microsoft これは、現在追いつきを急いでいる他の大手テクノロジー企業よりも大きな利点です。しかし、GPT には膨大な数の問題があり、その多くはまだ解決されていません。
まず第一に、これは非常にリソースを大量に消費する言語モデルです。ウェブ指向 Microsoft OpenAI の Copilot または ChatGPT は、非常に高い運用コストを発生させます。 Microsoft。これは GPT だけでなく、すべての主要な言語モデルの機能です。さらに、GPT は競合他社と同様に「幻覚」を起こしやすい、つまり、虚偽の情報や誤解を招く情報を含むクエリに対する応答を生成する可能性があります。このようなモデルが吸収するデータが増えるほど、同様のコンテンツが生成される傾向があります。したがって、幻覚や虚偽の発言は、デジタル指から吸い出された神話ではありません。ユーザーは、大規模な言語モデルが間違いを犯したり、不正確なデータを与えたり、存在しない事実に基づいて操作したりすることが多いことによく気づきます。
どちらの問題も非常に深刻であるため、OpenAI、 Microsoft、Meta、Google などは、ラージ言語モデル テクノロジだけでなく、実際にははるかに優れた結果を生み出すことができるスモール言語モデルの開発にも取り組んでいます。
デジタル会計士のアシスタントは、量子物理学についてあまり知識がある必要はありません。それははるかに小さくて複雑さが少ない（したがって安価である）ことができ、その目的に必要なデータのみでトレーニングすることで、理論的には幻覚が少なくなるはずです。ただし、これは言うは易く行うは難しです。 GenAI テクノロジーはまだ未開発の IT ベンチャーです。そして、作業は前例のないペースで進んでいますが、根本的な問題について実質的に突破口を開くことは依然として困難です。しかし、会社は Microsoft 最近そのような画期的な進歩を発表しました。私たちは小さな言語モデルについて話しています Microsoft ファイ。
また興味深い： 台湾、中国、米国が技術的優位性をめぐってどのように戦っているか: チップ大戦争
について知られていること Microsoft φ
まず第一に、この実験はOpenAI企業の参加なしに行われたことに注意する必要があります。それはエンジニアの育成です Microsoft.
モデル Microsoft Phi は、さまざまなテストで優れた結果を達成する一連の小規模言語モデル (SLM) です。最初のモデルである Phi-1 には 1,3 億のパラメータがあり、既存の SLM の中で最高の Python コーディング結果を達成しました。
次に、開発者は言語の理解と思考に焦点を当て、同じく 1.5 億のパラメータを持ち、1,3 倍のパラメータを持つモデルと同等のパフォーマンスを示した Phi- モデルを作成しました。
Phi-2 は、優れた推論能力と言語理解能力を実証する 2,7 億のパラメーター モデルであり、13 億のパラメーターを備えた最高のベースライン モデルのレベルでパフォーマンスを発揮します。 Phi-2 は、モデルのスケーリングとデータ キュレーション トレーニングにおける革新性により、他のモデルより際立っています。
これは Azure AI Studio モデル カタログで利用でき、言語モデルの分野での研究と開発を容易にします。 Phi-2は2023年2月に打ち上げられた。開発者は、Meta の Mistral や llama 3 と同様に動作することを保証しています。また、Phi- は以前のバージョンよりもさらに優れた機能を発揮します。
しかし、今回発表されたPhi-3モデルは品質的にはまったく新しいものです。少なくとも提供された情報から判断できるのはそれです Microsoft。同社によれば、既知のすべてのベンチマークの指標によれば、Phi-3 は、言語分析、プログラミング作業、または数学的作業を含め、同様のサイズの他のどのモデルよりも優れたパフォーマンスを発揮します。
このモデルの最小バージョンである Phi-3-mini が、すべての関係者に入手可能になりました。つまり、23月3日から利用可能になっています。 Phi-3,8-mini には 億のパラメータがあり、測定によると Microsoft、同じサイズの他のモデルよりも 2 倍効率的です。クラウドサービスのAIモデルのカタログにあります。 Microsoft Azure (Hugging Face 機械学習モデル プラットフォーム)、および Ollama (ローカル マシン上でモデルを実行するためのフレームワーク)。
彼が主張するように Microsoft、Phi-3-mini には強力なチップは必要ありません。 Nvidia。このモデルは通常のコンピューター チップ上で動作します。または、インターネットに接続されていない携帯電話にも適合します。
電力が少ないということは、モデルの精度も低くなることを意味します。 Phi-3 は医師や税理士には適していませんが、単純な作業には役立ちます。たとえば、ターゲティング広告やインターネット上のレビューの要約などです。
小型モデルは必要な処理が少ないため、民間企業が使用するのに安価になります。つまり、 Microsoft 仕事に AI を導入したいが、費用が高すぎると考えている顧客はさらに増えるでしょう。ただし、どれくらいの費用がかかるかはまだ明らかではありません。
小型モデルと中型モデルがいつ登場するかはまだ不明です。しかし、後者はより強力で、より高価になります。 Phi-3-small には 7 億のパラメータがあり、Phi-3-medium には 14 億ものパラメータがあることがすでに知られています。
また読む：
Phi-3-miniの使い方は？
GPT-4 Turbo には強力な AI チップが必要ですが、依然として非常に高価です。 Phi-3 小型音声モデルは、クラウドなしでも、携帯電話上のチップでもオフラインで動作できます。
Phi-3 はエンドユーザー向けの製品ではなく、開発者がクラウドベース、つまりリモートにあるアプリケーションと、ローカルおよびオフラインで動作するアプリケーションの両方で使用および実装できるテクノロジです。携帯電話、自動車とそのインフォテインメント システム、さらには IoT センサーなどのデバイスとそのコンポーネントとシームレスに連携することが期待されています。シナリオによっては、このテクノロジーが非常に貴重になる場合があります。
Microsoft 想像力を働かせる必要がないように、具体的な例も示しています。農家が作物を検査し、葉、茎、枝に病気の兆候を見つけたと想像してください。通信塔から遠く離れているため、彼は携帯電話を取り出し、損傷の写真を撮り、Phi-3 テクノロジーを使用するアプリケーションに入れるだけで済みます。モデルはその写真をオフラインで迅速に分析し、アドバイスを提供します。この病気と正確に戦う方法。
彼が説明すると、 MicrosoftGPT の成功の鍵は、トレーニングに大量のデータを活用することでした。このような大規模なデータセットでは、高いデータ品質は問題外です。一方、Phi モデルをトレーニングするときは、まったく逆の OpenAI アプローチが使用されました。モデルに情報を詰め込むのではなく、漸進的かつ徹底的な学習に重点が置かれました。
研究者たちは、インターネットの生データを使用する代わりに、 Microsoft TinyStories データセットを作成し、何百万ものミニチュアの「赤ちゃん」ストーリーを生成しました。これらのストーリーは、非常に小さな言語モデルをトレーニングするために使用されました。研究者らはさらに、教育的価値とコンテンツの品質を考慮してフィルタリングされた、慎重に選択された公開データを使用して CodeTextbook データセットを作成しました。その後、このデータは数回フィルタリングされ、さらなる合成のために大規模言語モデル (LLM) にフィードバックされました。
これらすべてにより、より有能な SLM をトレーニングするのに十分なデータ配列を作成することが可能になりました。さらに、Phi-3 モデルの開発では、評価、テスト、手動調整などのリスク管理と軽減に対するマルチレベルのアプローチが使用されました。その結果、彼の主張通り、 Microsoft、Phi-3 モデル ファミリを使用する開発者は、Azure AI で利用可能なツールセットを利用して、より安全で信頼性の高いアプリケーションを構築できます。
また読む： 科学的見地から見たテレポーテーションとその未来
Microsoft Phi は ChatGPT タイプのモデルを置き換えますか?
全くない。小規模言語モデル (SLM) は、高品質のデータでトレーニングされた場合でも限界があり、深層学習用に設計されていません。大規模言語モデル (LLM) は、そのサイズと計算能力により、複雑な推論において SLM よりも優れたパフォーマンスを発揮します。 LLM は、科学論文の膨大なコレクションを検索し、複雑なパターンを分析する必要がある創薬などの分野で特に役立ちます。一方、SLM は、長いテキスト文書の要点の要約、コンテンツの作成、カスタマー サービス チャットボットの強化など、より単純なタスクに使用できます。
Microsoft氏によると、すでに内部ではハイブリッド モデル セットを使用しており、LLM が主導権を握り、計算能力をあまり必要としない特定のクエリを SLM に送信し、他のより複雑なクエリ自体は SLM で処理されます。 Phi は、クラウドを使用せずにデバイス上でコンピューティングを行うという位置付けにあります。ただし、小規模な言語モデルと、クラウド上の大規模なモデルで得られるインテリジェンスのレベルとの間には、依然としてギャップが存在します。 LLM の継続的な開発のおかげで、このギャップはすぐには解消されそうにありません。
Phi-3 はまだ外部の独立機関によって検証されていません。 Microsoft 競合他社と比較して、極端な場合には効率やエネルギー効率が 25 倍高いと話すことがありますが、これは非常に素晴らしいことのように聞こえます。一方で、これらの年月が経過したことを忘れることはできませんが、 Microsoft 同社が IT イノベーションの明確なリーダーであるという事実から私たちは少し距離を置きました。おそらくそれが、私たちがそれを心から信じていない理由なのかもしれません。即座に応答し、生成ではなくオフラインで実行される AI ベースのプログラムですか?これは現在の革命の集大成にふさわしいものとなるだろう。残念ながら、重要な問題が 1 つあります。
また読む： Neuralink Telepathy チップのすべて: それが何で、どのように機能するか
ファイ-3から Microsoft 英語しか分かりません
Phi-3 は、大量に投げ込まれたペタバイトを飲み込むことはありませんでした。モデルを注意深く綿密にトレーニングするには、3 つの小さな問題が伴います。 Phi- は英語での情報で訓練を受けており、他の言語についてはまだ知りません。ウクライナ語だけでなく、ドイツ語、スペイン語、フランス語、中国語などもあります。もちろん、これでは世界中のほとんどのユーザーにとって魅力が大幅に減ります。
しかし、 Microsoft その開発と改善の取り組みが進行中であることを保証します。ただし、ウクライナ市場がどの大企業にとっても優先事項であるという事実によって自分自身を騙すべきではありません。したがって、ウクライナ語のサポートには非常に長い時間を待たなければなりません。しかし、この事実は、愛好家や進歩についていきたい人々を止めることはありません。
また読む：