OPML:効率的な分散型機械学習手法

OPML(楽観的機械学習)は、ブロックチェーンシステム上でAIモデルの推論とトレーニング/ファインチューニングを行うための新しいアプローチです。ZKMLと比較して、OPMLは低コストと高効率の利点があります。OPMLの参加のハードルは非常に低く、通常のPCはGPUなしで26GBの7B-LLaMAのような大規模言語モデルを実行できます。

OPMLは、MLサービスの分散化と検証可能性を保証するために、検証ゲームメカニズムを採用しています。具体的なプロセスは以下の通りです:

1. リクエスタがMLサービスタスクを開始します
2. サーバーがタスクを完了し、結果をチェーンに提出します。
3. バリデーターの検証結果、異議がある場合は検証ゲームを開始する
4. 二分プロトコルを通じて具体的なエラーステップを特定する
5. スマートコントラクト上でのステップバイステップの仲裁

! OPML:楽観的ロールアップによる機械学習

シングルステージ検証ゲーム

単段階検証ゲームの核心は、オフチェーン実行とオンチェーン仲裁のための仮想マシン(VM)を構築することです。AIモデル推論の効率を向上させるために、OPMLは軽量DNNライブラリを実装し、TensorflowとPyTorchモデルをこのライブラリ形式に変換するスクリプトを提供しています。クロスコンパイルを通じて、AIモデル推論コードがVM命令にコンパイルされます。

VMイメージはマークルツリーによって管理され、ルートハッシュのみがチェーンにアップロードされます。バイナリプロトコルは、争点のステップを特定し、それをチェーン上の仲裁契約に送信するのを助けます。テスト結果は、基本的なAIモデルがVM内で推論するのにわずか2秒しかかからず、全チャレンジプロセスが2分以内に完了できることを示しています。

! OPML:楽観的ロールアップシステムによる機械学習

マルチステージ検証ゲーム

単一段階のスキームの限界を克服するために、OPMLは多段階検証ゲームを提案しました:

• 最後の段階でのみVM内で計算する
• 他の段階はローカル環境で実行でき、CPU/GPU/TPUを利用して加速します
• VM依存を減らすことで、パフォーマンスを大幅に向上させる

マルチステージプランは、メルクルツリーを通じてステージ間の遷移の完全性と安全性を確保します。

LLaMAモデルを例にとると、OPMLは二段階の方法を採用しています:

1. 第二段階では計算グラフ上で検証ゲームを行い、GPUアクセラレーションを利用できます。
2. 第一段階では、単一ノードの計算をVM命令の実行に変換します。

多段階OPMLは単段階に比べてα倍(の数十から数百倍)の加速を実現でき、同時にメルクルツリーのサイズを大幅に縮小します。

! OPML:楽観的ロールアップによる機械学習

! OPML:楽観的ロールアップによる機械学習

一貫性の保証

MLの結果の一貫性を確保するために、OPMLは2つの重要な方法を採用しています:

1. 定点アルゴリズム(を使用して技術)を量化し、浮動小数点の四捨五入誤差を減らします。
2. ソフトウェアベースの浮動小数点ライブラリを採用し、クロスプラットフォームの一貫性を確保する

これらの技術は浮動小数点変数とプラットフォームの違いによる課題を効果的に克服し、OPMLの信頼性を高めました。

OPMLはまだ開発中ですが、巨大な潜在能力を示しています。これはブロックチェーン上の機械学習に対して効率的で低コスト、かつ分散化されたソリューションを提供しており、業界の継続的な関心と探求に値します。

! OPML:楽観的ロールアップシステムによる機械学習