區塊鏈數據檢索的演進:索引器及其應用

區塊鏈數據的重要性

數據是區塊鏈技術的核心,也是開發去中心化應用(dApp)的基礎。當前的討論大多集中在數據可用性(DA)方面,即確保網路參與者能夠訪問近期交易數據進行驗證。然而,另一個同樣重要但常被忽視的方面是數據可訪問性。

在模塊化區塊鏈時代,DA解決方案已成爲不可或缺的部分。這些方案確保所有參與者都可以使用交易數據,從而實現實時驗證並維護網路的完整性。然而,DA層更像是一個廣告牌而非數據庫。這意味着數據不會無限期保存,而是會隨時間被刪除,就像廣告牌上的海報最終會被新海報替換一樣。

相比之下,數據可訪問性側重於檢索歷史數據的能力,這對開發dApp和進行區塊鏈分析至關重要。對於需要訪問歷史數據以確保準確表示和執行的任務而言,這一方面尤爲重要。盡管數據可訪問性的討論較少,但它與數據可用性同等重要。兩者在區塊鏈生態系統中發揮着不同但互補的作用,全面的數據管理方法必須同時解決這兩個問題,以支持強大而高效的區塊鏈應用。

傳統的區塊鏈數據檢索方法

自誕生以來,區塊鏈徹底改變了基礎設施,推動了遊戲、金融和社交網絡等領域去中心化應用(dApp)的創建。然而,構建這些dApp需要訪問大量區塊鏈數據,這既困難又昂貴。

對dApp開發者而言,一種選擇是托管和運行自己的存檔RPC節點。這些節點從創世塊開始存儲所有歷史區塊鏈數據,允許完全訪問數據。但是,維護存檔節點成本高昂,查詢能力有限,無法以開發人員需要的格式查詢數據。運行較便宜的節點是另一種選擇,但這些節點的數據檢索能力有限,可能會影響dApp的運行。

另一種方法是使用商業RPC節點提供商。這些提供商負責節點的成本和管理,並通過RPC端點提供數據。公共RPC端點雖然免費,但有速率限制,可能對dApp的用戶體驗產生負面影響。私有RPC端點通過減少擁塞提供更好的性能,但即使是簡單的數據檢索也需要大量來回通信。這使得它們在處理復雜數據查詢時效率低下。此外,私有RPC端點通常難以擴展,並且缺乏跨不同網路的兼容性。

更優選擇:區塊鏈索引器

區塊鏈索引器在組織鏈上數據並將其發送到數據庫以便於查詢方面發揮着關鍵作用,這就是爲什麼它們常被稱爲"區塊鏈的谷歌"。它們的工作原理是索引區塊鏈數據,並通過類似SQL的查詢語言(使用GraphQL等API)使其隨時可用。通過提供統一的數據查詢接口,索引器允許開發人員使用標準化查詢語言快速準確地檢索所需信息,大大簡化了整個過程。

不同類型的索引器通過各種方式優化數據檢索:

1. 完整節點索引器:這些索引器運行完整的區塊鏈節點並直接從中提取數據,確保數據完整準確,但需要大量存儲和處理能力。

2. 輕量級索引器:這些索引器依靠完整節點根據需要獲取特定數據,從而減少存儲要求但可能增加查詢時間。

3. 專用索引器:這些索引器針對某些類型的數據或特定區塊鏈進行優化,可爲特定用例(如NFT數據或DeFi交易)提供更高效的檢索。

4. 聚合索引器:這些索引器從多個區塊鏈和來源提取數據,包括鏈下信息,提供統一的查詢接口,這對多鏈dApp特別有用。

僅以太坊就需要3TB的存儲空間,並且隨着區塊鏈的不斷增長,Erigon存檔節點的數據存儲量也會持續增加。索引器協議部署了多個索引器,可以高效地索引和高速查詢大量數據,這是RPC無法實現的。

索引器還允許進行復雜查詢、根據不同標準輕鬆過濾數據以及提取後分析數據。一些索引器還可以聚合來自多個來源的數據,避免在多鏈dApp中部署多個API。通過分布在多個節點上,索引器提供了增強的安全性和性能,而RPC提供商可能會因其集中式特性而出現中斷和停機。

總體而言,與RPC節點提供商相比,索引器提高了數據檢索的效率和可靠性,同時還降低了部署單個節點的成本。這使得區塊鏈索引器協議成爲dApp開發人員的首選方案。

索引器的應用場景

如前所述,構建dApp需要檢索和讀取區塊鏈數據才能運行其服務。這包括各種類型的dApp,如DeFi、NFT平台、遊戲甚至社交網絡,因爲這些平台需要先讀取數據才能執行後續交易。

DeFi

DeFi協議需要不同的信息才能爲用戶報出特定的價格、比率、費用等。自動做市商(AMM)需要某些資金池的價格和流動性信息來計算掉期利率,而借貸協議則需要利用率來確定借貸利率和清算的債務比率。在計算用戶執行的利率之前,將這些信息輸入dApp是必不可少的。

遊戲

GameFi需要快速索引和訪問數據,以確保用戶流暢地遊戲體驗。只有通過快速的數據檢索和執行,Web3遊戲才能在性能上與Web2遊戲相媲美,從而吸引更多用戶。這些遊戲需要土地所有權、遊戲內代幣餘額、遊戲內操作等數據。使用索引器,他們可以更好地確保穩定的數據流和穩定的運行時間,以提供完美的遊戲體驗。

NFT

NFT市場和借貸平台需要索引數據來訪問各種信息,如NFT元數據、所有權和轉讓數據、版稅信息等。快速索引此類數據可避免逐個瀏覽每個NFT以查找所有權或NFT屬性數據。

無論是需要價格和流動性信息的DeFi自動做市商(AMM),還是需要更新新用戶帖子的社交應用,能夠快速檢索數據對於dApp正常運行至關重要。借助索引器,它們可以高效、準確地檢索數據,從而提供流暢的用戶體驗。

分析

索引器提供了一種從原始區塊鏈數據(包括每個區塊中的智能合約事件)中提取特定數據的方法。這爲更具體的數據分析提供了機會,從而提供全面的見解。

例如,永續交易協議可以找出哪些代幣的交易量大,哪些代幣會產生費用,從而決定是否將這些代幣作爲永續合約列在其平台上。DEX開發人員可以爲自己的產品創建儀表板,深入了解哪些資金池的回報率最高或流動性最強。還可以創建公共儀表板,讓開發人員可以自由靈活地查詢要在圖表上顯示的任何類型的數據。

由於有多個區塊鏈索引器可用,因此識別索引協議之間的差異對於確保開發人員選擇最適合其需求的索引器至關重要。

主要區塊鏈索引器概述

The Graph

The Graph是最早在以太坊上啓動的索引器協議之一,它可以輕鬆查詢以前難以訪問的交易數據。它使用子圖定義和過濾從區塊鏈收集的數據子集,例如與某個特定資金池相關的所有交易。

使用索引證明,索引器質押原生代幣GRT用於索引和查詢服務,委托人可以選擇將其代幣質押於此。策展人可以訪問高質量的子圖,以幫助索引器確定要爲哪些子圖編制數據以賺取最佳查詢費用。在向更大程度的去中心化過渡的過程中,The Graph最終將停止其托管服務,並要求子圖升級到其網路,同時提供升級索引器。

其基礎設施使每百萬次查詢的平均成本達到40美元,這比自托管節點的成本要低得多。使用文件數據源,它還支持同時對鏈上和鏈下數據進行並行索引,以實現高效的數據檢索。

The Graph的索引器獎勵在過去幾個季度中一直在穩步增長。這部分是由於查詢量的增加,但也歸因於代幣價格的增長,因爲他們計劃在未來整合人工智能輔助查詢。

Subsquid

Subsquid是一個點對點、水平可擴展的去中心化數據湖,可高效聚合大量鏈上和鏈下數據,並通過零知識證明進行保護。作爲一個去中心化的工作器網路,每個節點負責存儲來自特定區塊子集的數據,通過快速識別保存所需數據的節點來加快數據檢索過程。

Subsquid還支持實時索引,允許在區塊最終確定之前對其進行索引。它還支持以開發人員選擇的格式存儲數據,從而便於使用BigQuery、Parquet或CSV等工具進行更輕鬆的分析。此外,子圖可以在Subsquid網路上部署,而無需遷移到Squid SDK,從而實現無代碼部署。

盡管仍處於測試網階段,Subsquid已取得令人印象深刻的統計數據,擁有超過80,000名測試網用戶,部署了超過60,000個Squid索引器,網路上有超過20,000名經過驗證的開發人員。最近,Subsquid啓動了其數據湖的主網。

除了索引之外,Subsquid Network數據湖還可以替代分析、ZK/TEE協處理器、AI代理和Oracle等用例中的RPC。

SubQuery

SubQuery是一個去中心化的中間件基礎設施網路,提供RPC和索引數據服務。它最初支持Polkadot和Substrate網路,現在已擴展到包括200多個鏈。它的工作原理類似於使用索引證明的The Graph,索引器索引數據並提供查詢請求,委托人將股份質押給索引器。然而,它引入了消費者來提交購買訂單,以表明索引器的收入有保障,而不是管理者。

它將引入支持分片的SubQuery數據節點,以防止每個節點之間不斷同步新數據,從而優化查詢效率,同時走向更大的去中心化。用戶可以選擇按每1000個請求支付約1 SQT代幣的計算費用,或通過協議爲索引器設置自定義費用。

盡管SubQuery在今年早些時候才推出其代幣,但節點和委托人的發行獎勵也以美元價值環比增長,這也代表其平台上提供的查詢服務數量不斷增加。自TGE以來,質押的SQT總量已從600萬增加到1.25億,凸顯了其網路參與度的增長。

Covalent

Covalent是一個去中心化的索引器網路,由區塊樣本生產者(BSP)網路節點通過批量導出的方式創建區塊鏈數據的副本,並在Covalent L1區塊鏈上發布證明。這些數據再由區塊結果生產者(BRP)節點根據設定的規則進行細化,篩選出符合要求的數據。

通過統一的API,開發人員可以輕鬆以一致的請求和響應格式提取相關的區塊鏈數據,無需編寫自定義復雜查詢即可訪問數據。可以使用在Moonbeam上結算的CQT代幣作爲支付手段從網路運營商處提取這些預配置的數據集。

Covalent的獎勵從23年第一季度到24年第一季度似乎總體呈增長趨勢,部分原因是Covalent代幣CQT價格漲。

選擇索引器的考慮因素

數