OPML:一種高效的去中心化機器學習方法

OPML(Optimistic機器學習)是一種新穎的方法,可以在區塊鏈系統上進行AI模型推理和訓練/微調。與ZKML相比,OPML具有低成本和高效率的優勢。OPML的參與門檻很低,普通PC無需GPU就能運行大型語言模型,如26GB的7B-LLaMA。

OPML採用驗證遊戲機制來保證ML服務的去中心化和可驗證性。具體流程如下:

1. 請求者發起ML服務任務
2. 服務器完成任務並將結果提交到鏈上
3. 驗證者驗證結果,如有異議則啓動驗證遊戲
4. 通過二分協議定位具體錯誤步驟
5. 在智能合約上進行單步仲裁

單階段驗證遊戲

單階段驗證遊戲的核心是構建一個虛擬機(VM),用於鏈下執行和鏈上仲裁。爲提高AI模型推理效率,OPML實現了一個輕量級DNN庫,並提供腳本將Tensorflow和PyTorch模型轉換爲該庫格式。通過交叉編譯,AI模型推理代碼被編譯爲VM指令。

VM鏡像通過默克爾樹管理,只有根哈希上傳到鏈上。二分協議幫助定位爭議步驟,並將其發送到鏈上仲裁合約。測試表明,基本AI模型在VM中推理僅需2秒,整個挑戰過程可在2分鍾內完成。

多階段驗證遊戲

爲克服單階段方案的局限性,OPML提出了多階段驗證遊戲:

• 只在最後階段在VM中計算
• 其他階段可在本地環境執行,利用CPU/GPU/TPU加速
• 通過減少VM依賴,顯著提升性能

多階段方案通過默克爾樹確保階段間轉換的完整性和安全性。

以LLaMA模型爲例,OPML採用兩階段方法:

1. 第二階段在計算圖上進行驗證博弈,可利用GPU加速
2. 第一階段將單個節點計算轉爲VM指令執行

多階段OPML相比單階段可實現α倍(數十到數百倍)的加速,同時大幅減小默克爾樹大小。

一致性保證

爲確保ML結果一致性,OPML採用兩種關鍵方法:

1. 使用定點算法(量化技術),減少浮點舍入誤差
2. 採用基於軟件的浮點庫,確保跨平台一致性

這些技術有效克服了浮點變量和平台差異帶來的挑戰,增強了OPML的可靠性。

OPML雖仍在開發中,但已展現出巨大潛力。它爲區塊鏈上的機器學習提供了一種高效、低成本且去中心化的解決方案,值得業界持續關注和探索。