OPML:基於樂觀方法的機器學習框架

我們提出了一種名爲OPML(Optimistic機器學習)的新型框架,它能夠在區塊鏈系統上高效執行AI模型的推理和訓練。與ZKML相比,OPML具有更低的成本和更高的效率。OPML的硬件要求非常低,普通PC無需GPU即可運行包含7B-LLaMA等大型語言模型在內的OPML任務。

OPML採用驗證遊戲機制來確保ML服務的去中心化和可驗證性。其流程如下:

1. 用戶發起ML服務請求
2. 服務器完成任務並將結果提交到鏈上
3. 驗證者檢查結果,如有異議則啓動驗證遊戲
4. 通過二分協議定位具體錯誤步驟
5. 最後由智能合約進行單步仲裁

單階段驗證遊戲

單階段OPML的關鍵點包括:

• 構建用於鏈下執行和鏈上仲裁的虛擬機(VM)
• 實現專門的輕量級DNN庫,提高AI推理效率
• 使用交叉編譯技術將AI推理代碼編譯爲VM指令
• 採用默克爾樹管理VM鏡像,只上傳根哈希到鏈上

在基本測試中,我們能在2秒內完成DNN推理,整個挑戰過程可在2分鍾內完成。

多階段驗證遊戲

爲克服單階段方案的局限性,我們提出了多階段驗證遊戲:

• 只在最後階段在VM中計算,其他階段可靈活執行
• 充分利用GPU/TPU加速和並行處理
• 顯著提高執行性能,接近本地環境水平
• 採用默克爾樹確保階段間轉換的完整性和安全性

以LLaMA模型爲例,我們採用兩階段OPML方法:

• 第二階段在計算圖上進行驗證博弈,可使用GPU加速
• 第一階段將單個節點計算轉換爲VM指令

多階段方法相比單階段可實現α倍的計算加速,同時大幅減小默克爾樹大小。

一致性與確定性

爲確保ML結果的一致性,我們採取了以下措施:

1. 使用定點算法(量化技術)減少浮點誤差影響
2. 採用跨平台一致的軟件浮點庫

這些技術有效克服了浮點變量和平台差異帶來的挑戰,增強了OPML計算的可靠性。

OPML仍在持續開發中。我們歡迎對該項目感興趣的人士加入,爲OPML的發展做出貢獻。