カリフォルニアで開催される毎年恒例のメタコネクトイベントにおけるメタプラットフォーム 提示 人気アプリ向けのいくつかの新しい AI 機能 Facebook, Instagram しかし、テクノロジー巨人による最も印象的なイノベーションは、多くの人に気づかれていないかもしれません。 私たちは Llama 2 Long AI モデルについて話しています。
Meta 社の研究者チームは、どういうわけか静かに、ユーザーの長いクエリに対して一貫性のある適切な回答を生成できる新しい人工知能モデル Llama 2 Long を紹介する記事を発表しました。 せいぜい、業界最高の競合他社を上回るパフォーマンスだという。
Llama 2 Long は拡張機能です ラマ2、夏にリリースされたオープンソース AI モデル Meta は、さまざまなデータ ソースから学習し、コーディング、数学、言語理解などのさまざまなタスクを実行できます。 ただし、Llama 2 Long は、より長いテキストを含むより多くのデータでトレーニングされ、このアルゴリズムはより長い情報シーケンスを処理できるように修正されました。 これにより、応答の生成に使用できるコンテキストの量に制限がある OpenAI の GPT-3.5 Turbo および Claude 2 よりも優れたパフォーマンスを実現できます。
研究者 Meta Llama 2の異なるバージョンを使用しました - 7億から70億のパラメータ、つまりAIモデルがデータから学習することで変更できる値。 彼らは、元のモデル データセットよりも長いテキストを含むデータをさらに 400 億トークン (テキスト単位) 追加しました。 また、Rotary Positional Embedding (RoPE) 技術を使用して AI モデルのアーキテクチャをわずかに調整し、モデルが他の方法よりも少ない情報とメモリを使用して正確で有用な回答を生成できるようにしました。
チームは、AI モデルが正解に対して報酬を与え、人間の評価者によって修正され、合成データが Llama 2 チャット自体によって生成される方法であるヒューマン フィードバックからの強化学習 (RLHF) を使用して、さまざまなタスクにおけるパフォーマンスを向上させました。 。
論文によると、このモデルは、約 200 ページのテキストに相当する、最大 40 文字の長さのユーザー プロンプトに対して高品質な応答を生成できるとのことです。 研究者らは、Llama 2 Longは、ユーザーの複雑で多様なニーズを満たすことができる、より汎用的で汎用性の高いAIモデルを作成するための一歩であると述べています。 彼らはまた、そのようなモデルの潜在的な倫理的および社会的影響を認識しており、それらを責任を持って有益に使用する方法についてさらなる研究と対話を求めています。
また読む：