Stability AI は、ChatGPT に匹敵するパフォーマンスを持つ Llama 2 微調整モデル FreeWilly をすぐにリリースしました。ネチズンはゲームのルールが変わったと叫んだ

出典：新志源

Llama 2 のリリースから 2 日も経たないうちに、ユニコーンの安定性 AI は、ChatGPT に匹敵するパフォーマンスと言われている FreeWilly モデルを迅速に微調整しました。

Meta の Llama 2 はリリースされるやいなや、オープンソース コミュニティ全体を爆発させました。

OpenAI の科学者 Karpathy 氏が述べたように、今日は大規模言語モデルの分野全体にとって非常に重要な日です。オープンウェイトを備えたすべてのモデルの中で、Llama 2 は最も強力です。

それ以降、オープンソースのビッグ モデルとクローズドソースのビッグ モデルの間のギャップはさらに縮まり、ビッグ モデルを構築する機会はすべての開発者に平等になります。

ちょうど今、Stability AI と CarperAI Labs が共同で、LLaMA 2 70B モデルに基づく微調整モデル FreeWilly2 をリリースしました。

そして、LLaMA 65BのオリジナルモデルであるFreeWilly1の微調整をベースにしています。

モデルが標準の Alpaca 形式に基づく新しい合成データセットでトレーニングされ、教師あり微調整 (SFT) を受けていることは注目に値します。

さまざまなベンチマーク テストで、FreeWilly2 は優れた推論能力を実証し、一部のタスクでは GPT-3.5 を上回りました。

モデルアドレス:

モデルアドレス:

どちらのモデルも研究実験であり、非営利ライセンスに基づいてリリースされています。

データの生成と収集

Stability AIは、FreeWillyモデルのトレーニングはマイクロソフトの論文「Orca: GPT-4の複雑な説明トレースからの進歩的学習」から直接インスピレーションを得たと述べた。

ただし、データ生成プロセスは似ていますが、ソースは異なります。

論文リンク:

FreeWilly のデータセット バリアントには 600,000 のデータ ポイント (元の Orca 論文で使用されたデータセット サイズの約 10%) が含まれており、モデルは Enrico Shippole によって作成された高品質の命令データセットを使用してブートストラップされます。

• COTサブミックスオリジナル

• NIV2 サブミックス オリジナル

• FLAN 2021 サブミックス オリジナル

• T0 サブミックス オリジナル

このアプローチにより、Stability AI は、より単純な LLM モデルを使用して 500,000 のサンプルを生成し、さらに複雑な LLM モデルを使用してさらに 100,000 のサンプルを生成しました。

公平な比較を行うために、Stability AI はこれらのデータセットを慎重にスクリーニングし、評価ベンチマークから得られた例を削除しました。

トレーニング サンプル サイズは元の Orca 論文のわずか 10 分の 1 ですが、結果として得られた FreeWilly モデルはさまざまなベンチマーク テストで良好なパフォーマンスを発揮するだけでなく、データセットを合成的に生成する方法の実現可能性も検証します。

モデルの性能評価

パフォーマンス評価の点では、安定性 AI 研究者は EleutherAI の lm-harness を採用し、AGI を追加しました。

結果から判断すると、FreeWilly は、複雑な推論、言語の微妙な理解、専門分野に関連する複雑な質問 (法律や数学の問題解決など) への回答など、多くの分野で優れています。

基本的には、FreeWilly 2 は ChatGPT と同等のレベルを達成しており、いくつかの評価ではそれを上回っています。

GPT4ALL ベンチマーク (0 ショット):

AGI評価（0ショット）：

さらに、Hugging Faceのチームも7月21日に実験を独自に再現した。

Open LLM リーダーボードでは、FreeWilly 2 が絶対的なリードで 1 位にランクされており、平均スコアはオリジナル バージョンの Llama 2 より 4 パーセントポイント高いことがわかります。

開かれた未来のために

FreeWilly1 と FreeWilly2 は、オープンソースの大規模言語モデルの新しい標準を設定したと言えます。

これら 2 つのモデルの導入により、関連分野の研究が大幅に進歩し、自然言語理解の能力が強化されただけでなく、複雑なタスクの完了もサポートされました。

Stability AI は、チームはこれらのモデルが AI コミュニティにもたらす無限の可能性に非常に興奮しており、それらがインスピレーションを与える新しいアプリケーションを楽しみにしていると述べました。

さらに、研究者、エンジニア、パートナーからなる情熱的なチームの並外れた努力と献身により、Stability AI がこの重要なマイルストーンに到達することができたことに心から感謝します。

エキサイティングな時間

モデルがリリースされると、ネチズン「Phil Howes」は Tuhin Srivastava の Llama v2 フレームワークを使用して、FreeWilly 2 の実装を 1 分以内に完了しました。

275 GB の重量をロードした後、モデルは箱から出してすぐに 23 トークン/秒で実行されます。

さらに、一部のネチズンは「Stability AI と CarperAI が共同で発表したモデルはゲームチェンジャーと呼ぶことができます!」と叫んだ。

FreeWilly1 と FreeWilly2 は、オープンソースとパフォーマンスの点で非常に革新的な重要性を持っており、AI サークルはエキサイティングな瞬間を迎えています。

参考文献: