Web3數據訪問的演進:索引器及相關項目解析

數據是區塊鏈技術的核心,也是去中心化應用(dApp)開發的基礎。目前業內討論較多的是數據可用性(DA),即確保網路參與者可訪問最新交易數據進行驗證。然而,數據可訪問性這一同等重要的方面卻常被忽視。

在模塊化區塊鏈時代,DA解決方案已成爲不可或缺的部分。這些方案確保所有參與者都能使用交易數據,實現實時驗證並維護網路完整性。但DA層更像是廣告牌而非數據庫,數據不會永久存儲,會隨時間被刪除。

相比之下,數據可訪問性關注的是檢索歷史數據的能力,這對dApp開發和區塊鏈分析至關重要。雖然討論較少,但數據可訪問性與數據可用性同樣重要。兩者在區塊鏈生態中扮演不同但互補的角色,全面的數據管理必須同時解決這兩個問題,以支持強大高效的區塊鏈應用。

區塊鏈數據檢索的傳統方式

自誕生以來,區塊鏈徹底改變了基礎設施,推動了遊戲、金融和社交網絡等領域dApp的創建。然而,構建這些dApp需要訪問大量區塊鏈數據,這既困難又昂貴。

對dApp開發者而言,一種選擇是自行托管和運行存檔RPC節點。這些節點存儲全部歷史區塊鏈數據,允許完全訪問。但維護成本高昂,查詢能力有限,無法以開發人員所需格式查詢數據。運行較便宜的節點是另一選擇,但數據檢索能力有限,可能影響dApp運行。

另一種方法是使用商業RPC節點服務。這些提供商負責節點成本和管理,通過RPC端點提供數據。公共RPC端點免費但有速率限制,可能影響用戶體驗。私有RPC端點性能更好,但簡單數據檢索也需要大量通信,效率低下且難以擴展。

更優的替代方案:區塊鏈索引器

區塊鏈索引器在組織鏈上數據並發送至數據庫以便查詢方面發揮關鍵作用,因此常被稱爲"區塊鏈的谷歌"。它們索引區塊鏈數據,通過類似SQL的查詢語言(如GraphQL API)使數據可用。索引器提供統一的查詢接口,讓開發者能用標準化語言快速準確檢索所需信息,大大簡化了流程。

不同類型的索引器優化數據檢索的方式各異:

1. 完整節點索引器:運行完整區塊鏈節點直接提取數據,確保數據完整準確,但需要大量存儲和處理能力。

2. 輕量級索引器:依靠完整節點按需獲取特定數據,減少存儲需求但可能增加查詢時間。

3. 專用索引器:針對特定數據類型或區塊鏈優化,如NFT數據或DeFi交易。

4. 聚合索引器:從多個區塊鏈和來源提取數據,包括鏈下信息,提供統一查詢界面,適用於多鏈dApp。

僅以太坊就需要3TB存儲空間,且隨區塊鏈增長不斷擴大。索引器協議部署多個索引器,能高效索引和高速查詢大量數據,這是RPC無法實現的。

索引器還允許復雜查詢、輕鬆過濾數據和提取後分析。部分索引器可聚合多源數據,避免多鏈dApp部署多個API。通過分布在多節點上,索引器提供更高安全性和性能,而RPC提供商可能因集中化特性出現中斷。

總體而言,相比RPC節點服務,索引器提高了數據檢索效率和可靠性,同時降低了單節點部署成本。這使區塊鏈索引器協議成爲dApp開發者的首選。

索引器應用場景

構建dApp需要檢索和讀取區塊鏈數據才能運行服務。這包括DeFi、NFT平台、遊戲甚至社交網絡在內的各類dApp,因爲它們需要先讀取數據才能執行其他交易。

DeFi

DeFi協議需要不同信息爲用戶提供特定價格、比率和費用。自動做市商(AMM)需要某些資金池的價格和流動性信息計算掉期利率,借貸協議需要利用率確定借貸利率和清算債務比率。在計算用戶執行利率前,將信息輸入dApp至關重要。

遊戲

GameFi需要快速索引和訪問數據,確保用戶流暢遊戲體驗。只有通過快速數據檢索和執行,Web3遊戲才能在性能上與Web2遊戲媲美,吸引更多用戶。這些遊戲需要土地所有權、遊戲內代幣餘額、遊戲內操作等數據。使用索引器,他們可以更好地確保穩定數據流和正常運行時間,保證完美遊戲體驗。

NFT

NFT市場和借貸平台需要索引數據訪問各種信息,如NFT元數據、所有權和轉讓數據、版稅信息等。快速索引此類數據可避免逐個瀏覽每個NFT查找所有權或屬性數據。

無論是需要價格和流動性信息的DeFi AMM,還是需要更新新用戶帖子的SocialFi應用,快速檢索數據對dApp正常運行至關重要。借助索引器,它們可以高效、正確地檢索數據,提供流暢用戶體驗。

分析

索引器提供了從原始區塊鏈數據(包括每個區塊中的智能合約事件)中提取特定數據的方法。這爲更具體的數據分析提供機會,從而提供全面見解。

例如,永續交易協議可以找出哪些代幣交易量大、產生費用,從而決定是否將其作爲永續合約列在平台上。DEX開發人員可爲自身產品創建儀表盤,深入了解哪些資金池回報率最高或流動性最強。還可創建公共儀表盤,讓開發人員自由靈活地查詢要在圖表上顯示的任何類型數據。

由於有多個區塊鏈索引器可用,識別索引協議間差異對確保開發人員選擇最適合需求的索引器至關重要。

區塊鏈索引器概述

The Graph

The Graph是首個在以太坊上啓動的索引器協議,可輕鬆查詢以前難以訪問的交易數據。它使用子圖定義和過濾從區塊鏈收集的數據子集,如與某特定資金池相關的所有交易。

使用索引證明,索引器質押原生代幣GRT用於索引和查詢服務,委托人可選擇將代幣質押於此。策展人可訪問高質量子圖,幫助索引器確定要爲哪些子圖編制數據以賺取最佳查詢費用。在向更大程度去中心化過渡過程中,The Graph最終將停止托管服務,要求子圖升級到其網路,同時提供升級索引器。

其基礎設施使每百萬次查詢平均成本達40美元,遠低於自托管節點。使用文件數據源,它還支持同時對鏈上和鏈下數據進行並行索引,實現高效數據檢索。

The Graph的索引器獎勵近幾個季度穩步增長。這部分由於查詢量增加,也歸因於代幣價格漲,因爲他們計劃未來整合AI輔助查詢。

Subsquid

Subsquid是點對點、水平可擴展的去中心化數據湖,可高效聚合大量鏈上和鏈下數據,並通過零知識證明保護。作爲去中心化工作器網路,每個節點負責存儲特定區塊子集數據,通過快速識別保存所需數據的節點加快數據檢索。

Subsquid支持實時索引,允許在區塊最終確定前對其索引。它還支持以開發人員選擇的格式存儲數據,便於使用BigQuery、Parquet或CSV等工具進行分析。此外,子圖可在Subsquid網路上部署,無需遷移到Squid SDK,實現無代碼部署。

雖仍處測試網階段,Subsquid已取得令人印象深刻的統計數據:超8萬測試網用戶,部署超6萬Squid索引器,網路上超2萬驗證開發者。近期,Subsquid啓動了其數據湖主網。

除索引外,Subsquid Network數據湖還可替代分析、ZK/TEE協處理器、AI代理和Oracle等用例中的RPC。

SubQuery

SubQuery是去中心化中間件基礎設施網路,提供RPC和索引數據服務。最初支持Polkadot和Substrate網路,現已擴展至200多條鏈。其工作原理類似使用索引證明的The Graph,索引器索引數據並提供查詢請求,委托人將股份質押給索引器。然而,它引入消費者提交購買訂單,表明索引器收入有保障,而非管理者。

它將引入支持分片的SubQuery數據節點,防止節點間不斷同步新數據,優化查詢效率,同時走向更大去中心化。用戶可選擇每1000請求支付約1 SQT代幣計算費用,或通過協議爲索引器設置自定義費用。

盡管SubQuery今年初才推出代幣,但節點和委托人發行獎勵以美元價值環比增長,代表其平台上提供的查詢服務數量不斷增加。自TGE以來,質押SQT總量從600萬增至1.25億,凸顯網路參與度增長。

Covalent

Covalent是去中心化索引器網路,由區塊樣本生產者(BSP)網路節點通過批量導出創建區塊鏈數據副本,並在Covalent L1鏈上發布證明。這些數據再由區塊結果生產者(BRP)節點根據設定規則細化,篩選出符合要求的數據。

通過統一API,開發人員可輕鬆以一致請求和響應格式提取相關區塊鏈數據,無需編寫復雜查詢即可訪問數據。可使用在Moonbeam上結算的CQT代幣作爲支付手段從網路運營商處提取這些預配置數據集。

Covalent獎勵從23年第一季度到24年第一季度似乎總體呈增長趨勢,部分原因是Covalent代幣CQT價格漲。

選擇索引器的考慮因素

數據可定制性

一些索引器(如Covalent)是通用索引器,僅通過API提供標準預配置數據集。雖然速度快,但無法爲需要自定義數據集的開發人員提供靈活性。使用索引器框架允許更多自定義數據處理,滿足特定應用需求。

安全性

索引數據必須安全,否則基於這些索引器構建的dApp也易受攻擊。例如,如果交易和錢包餘額可被操縱,dApp可能失去流動性,影響用戶。雖然所有索引器都通過質押代幣採用某種形式安全措施,但其他索引器解決方案可能使用證明進一步提高安全性。

Subsquid提供使用樂觀和零知識證明選項,Covalent還發布包含區塊哈希值的證明。Graph以樂觀挑戰窗口期方式針對索引器查詢提供爭議挑戰期,SubQuery爲每個區塊生成Merkle Mountain證明,計算其數據庫中存儲的所有數據每個區塊的哈希值。

速度和可擴展性

隨着區塊鏈不斷增長,交易量隨之增加,索引大量數據變得更加繁瑣,需要更多處理能力和存儲空間。隨着區塊鏈網路增長,保持效率更加困難,但索引器協議引入解決方案滿足這些日益增長的需求。

例如,Subsquid通過添加更多節點存儲數據實現水平擴展,隨硬件改進能夠擴展。Graph提供並行流數據,更快同步數據,SubQuery引入節點分片加快同步過程。

支持的網路

雖然大部分區塊鏈活動仍在以太坊內進行,但隨時間推移,不同區塊鏈越來越受歡迎。例如,Layers、Solana、Move區塊鏈和比特幣生態系統鏈都有自己一套不斷增長的開發人員和活動,也需要索引服務。

爲其他索引器協議不支持的某些鏈提供支持可獲得更多市場份額費用。