Доступ до даних Web3: вступ та відповідні проекти

Написав: Geng Kai, DFG

Важливість даних в блокчейні

Дані - це ключовий аспект технології блокчейн, вони є основою розробки децентралізованих програм (dApp). Хоча більшість обговорень зараз зосереджені на доступності даних (DA) - забезпечення можливості доступу кожного учасника мережі до останніх транзакційних даних для підтвердження, є ще один так само важливий аспект, який часто ігнорується: доступність даних.

У модульних блокчейнів ера DA-рішень стала невід'ємною. Ці рішення забезпечують можливість всім учасникам використовувати транзакційні дані для забезпечення миттєвої перевірки та збереження цілісності мережі. Однак функціональність DA-шару схожа на рекламну дошку, а не на базу даних. Це означає, що дані не зберігаються нескінченно, вони видаляються з часом, так само, як новий плакат замінює старий на рекламній дошці.

З іншого боку, доступність даних акцентується на здатності витягувати історичні дані, що є надзвичайно важливим для розробки додатків децентралізованих програм (dApp) та проведення аналізу блокчейну. Це надзвичайно важливо для завдань, які потребують доступу до минулих даних для забезпечення точного представлення та виконання. Незважаючи на те, що доступність даних дуже важлива, про неї говорять менше, проте вона так само важлива, як доступність даних. Обидва аспекти відіграють важливу, але взаємодоповнюють роль у блокчейн-екосистемі, тому повноцінний підхід до управління даними повинен вирішувати ці дві проблеми, щоб підтримувати потужні та ефективні додатки блокчейну.

Як раніше проводився пошук даних блокчейн

З моменту свого народження блокчейн повністю змінив інфраструктуру та підтримав створення додатків, децентралізованих застосунків (dApp), у галузі ігор, фінансів та соціальних мереж. Однак побудова цих dApp потребує доступу до великої кількості даних блокчейн, що є як складним, так і дорогим.

Для розробників додатків dApp одним з варіантів є хостинг і запуск власних вузлів RPC архіву. Ці вузли зберігають усі історичні дані блокчейну з самого початку і дозволяють повний доступ до даних. Однак, обслуговування архівних вузлів є дорогим, а також обмежена могутність запитів, тому неможливо запитувати дані у форматі, який необхідний розробникам. Хоча запуск дешевих вузлів є одним з варіантів, але має обмежену можливість отримання даних, що може перешкоджати роботі dApp.

Інший спосіб - використовувати комерційних постачальників вузлів RPC (викликів віддалених процедур). Ці постачальники відповідають за вартість і управління вузлами та надають дані через кінцеві точки RPC. Громадські кінцеві точки RPC є безкоштовними, але обмежені за швидкістю та можуть негативно вплинути на користувацький досвід dApp. Приватні кінцеві точки RPC надають кращу продуктивність, зменшуючи затори, але навіть просте отримання даних потребує багато зворотних зв'язків. Це робить їх запитами важкими, а ефективність складних запитів даних низькою. Крім того, приватні кінцеві точки RPC зазвичай важко масштабувати та несумісні між різними мережами.

Краща альтернатива: індексатор блокчейну

Індексатор блокчейну відіграє вирішальну роль у організації даних на ланцюжку та їх подальшій передачі до бази даних для зручності проведення запитів, тому їх часто називають "Google блокчейну". Їхнє функціонування полягає в індексації даних блокчейну та забезпеченні їх постійної доступності за допомогою мови запитів, подібної до SQL (з використанням GraphQL та інших API). Забезпечуючи єдиний інтерфейс для запитів даних, індексатори дозволяють розробникам швидко та точно отримувати необхідну інформацію за допомогою стандартизованої мови запитів, що значно спрощує процес.

Різні типи індексаторів оптимізують пошук даних різними способами:

1. Повний індексатор вузлів: ці індексатори працюють на повних вузлах блокчейну та безпосередньо витягують дані з них, забезпечуючи повноту та точність даних, але вимагають значних обсягів збереження та обробки.
2. Легковажливий індексатор: ці індексатори покладаються на повні вузли для отримання конкретних даних за потреби, тим самим зменшуючи вимоги до зберігання, але можливо збільшуючи час запиту.
3. Спеціалізовані індексатори: ці індексатори призначені для певних типів даних або конкретних блокчейнів, що дозволяють оптимізувати пошук для конкретних використань, наприклад, для даних NFT або угод DeFi.
4. Агрегатор індексаторів: ці індексатори збирають дані з кількох блокчейнів та джерел, включаючи поза ланцюжкову інформацію, надають єдиний інтерфейс запиту, що особливо корисно для додатків з багатьох ланцюжків.

Лише для Ethereum потрібно 3 ТБ простору для зберігання, і разом з нескінченним зростанням блокчейну обсяг даних для архівних вузлів Erigon також буде постійно збільшуватися. Протокол індексатора розгортає багато індексаторів, які ефективно і швидко індексують велику кількість даних, що неможливо здійснити за допомогою RPC.

Індексатор також дозволяє виконувати складні запити, легко фільтрувати дані за різними критеріями та аналізувати витягнуті дані. Деякі індексатори також дозволяють агрегувати дані з різних джерел, що дозволяє уникнути розгортання кількох API в додатках з використанням кількох ланцюжків. Розподілені по кількох вузлах, індексатори забезпечують підвищену безпеку та продуктивність, тоді як постачальники RPC можуть мати перерви та зупинки через їх централізовану природу.

В цілому, порівняно з постачальниками вузлів RPC, індексатор покращує ефективність та надійність пошуку даних, а також знижує витрати на розгортання окремого вузла. Це робить протокол індексації блокчейну першим вибором для розробників додатків.

Використання індексатора

Як вже згадувалося, для побудови додатків dApp потрібно здійснювати пошук та читання даних ланцюга блоків, щоб запустити свої служби. Це стосується будь-якого типу dApp, включаючи DeFi, NFT-платформи, ігри та навіть соціальні мережі, оскільки ці платформи потребують читання даних перед виконанням інших транзакцій.

Децентралізоване фінансування

Для DeFi протоколів потрібна різна інформація, щоб надати користувачам конкретні ціни, ставки, витрати тощо. Автоматизованим постачальникам ліквідності (AMM) потрібна інформація про ціни та ліквідність деяких фондових басейнів, щоб розрахувати процентну ставку за своп, тоді як протоколи для кредитування потребують використання ставок для визначення процентної ставки кредитування та відношення заборгованості для ліквідації. Надання інформації у їхні додатки є обов'язковим перед розрахунком процентної ставки, яку користувачі виконують.

Гра

GameFi потребує швидкого індексування та доступу до даних, щоб забезпечити користувачам плавний геймплей. Тільки за допомогою блискавичного пошуку та виконання даних, Web3-ігри можуть конкурувати з Web2-іграми за продуктивністю, що привертає більше користувачів. Ці ігри потребують даних про володіння землею, баланс внутрішньої токен-валюти, внутрішні операції тощо. За допомогою індексатора вони можуть краще забезпечити стабільний потік даних та стабільний час роботи, щоб забезпечити ідеальний геймплей.

NFT

NFT ринок та платформа позик потребують індексації даних для доступу до різних інформацій, таких як метадані NFT, дані про власність та передачу, інформація про роялті тощо. Швидкий доступ до цих даних може уникнути пошуку кожного NFT окремо для знаходження даних про власність або властивості NFT.

Незалежно від того, чи це автоматизований ринок децентралізованих фінансів (DeFi), який потребує інформації про ціни та ліквідність, або соціальний додаток SocialFi, який оновлює дописи нових користувачів, швидкий доступ до даних є ключовим для нормальної роботи dApp. За допомогою індексатора вони можуть ефективно та правильно здійснювати пошук даних, що забезпечує плавний користувацький досвід.

Аналіз

Індексатор надає метод витягування конкретних даних з оригінальних даних ланцюжка блоків (включаючи події смарт-контрактів у кожному блоку). Це надає можливість для біль конкретного аналізу даних та забезпечує повний огляд.

Наприклад, протокол постійних угод може визначити, які токени мають великий обсяг угод, які токени генерують витрати, щоб вирішити, чи включати ці токени як постійні контракти на свою платформу. Розробники DEX можуть створювати свої власні інструментальні панелі, щоб докладніше дізнатися, які фондові басейни мають найвищий прибуток чи найбільшу ліквідність. Також можна створювати публічні інструментальні панелі, щоб розробники могли вільно та гнучко запитувати будь-який тип даних для відображення на графіках.

Оскільки доступно кілька індексаторів блокчейну, визначення відмінностей між протоколами індексації є важливим для забезпечення вибору розробниками найбільш підходящого для їх потреб індексатору.

Огляд індексатора блокчейну

Огляд індексатора

Графік

The Graph - перший індексаторовий протокол, який запускається на Ethereum, що дозволяє легко запитувати дані про транзакції, які раніше були важкодоступними. Він використовує визначення підграфів та фільтрацію підмножини даних, зібраних з блокчейну, таких як усі транзакції, пов'язані з пулом Uniswap v3 USDC/ETH.

За допомогою індексного довідника, індексатор заробляє ставку засновану на оригінальному токені GRT за індексацію та запитування послуг, агент може вибрати покладення свого токену тут. Куратор може отримати доступ до високоякісних підграфів, щоб допомогти індексаторам визначити, які підграфи індексувати для заробітку максимального збору запитів. Проходячи через процес переходу до більш децентралізованого середовища, The Graph кінець кінцем припинить свої хостингові послуги та вимагатиме, щоб підграфи оновилися до їх мережі, надаючи при цьому оновлені індексатори.

Його інфраструктура дозволяє середній вартості мільйона запитів досягати 40 доларів, що лонгуючий нижче, ніж вартість вузлів, розміщених на власному хостингу. Використовуючи файлові джерела даних, він також підтримує паралельне індексування як у блокчейні, так і поза блокчейном даних для ефективного пошуку даних.

Подивіться на нагороди індексатора The Graph, які постійно зростають протягом останніх кількох кварталів. Це частково пов'язано зі збільшенням обсягу запитів, але також пов'язано зі зростанням ціни токену, оскільки вони планують в майбутньому інтегрувати запити з підтримкою штучного інтелекту.

Кальмари

Subsquid - це децентралізоване даних-озеро, яке працює за принципом peer-to-peer та горизонтально масштабується, здатне ефективно агрегувати великі обсяги даних як у ланцюговому, так і позаланцюговому середовищі, забезпечуючи їх захист за допомогою доказів знання з нульовим розголошенням. Як мережа робочих в децентралізованому виконанні, кожен вузол відповідає за збереження даних з певного підмножини блоків, прискорюючи процес пошуку даних шляхом швидкого визначення вузлів, які зберігають необхідні дані.

Subsquid також підтримує миттєвий індекс, що дозволяє індексувати його до остаточного визначення блоку. Він також підтримує зберігання даних у форматі, вибраному розробником, що полегшує аналіз з використанням інструментів, таких як BigQuery, Parquet або CSV. Крім того, підграфи можуть бути розгорнуті на мережі Subsquid без переходу до Squid SDK, що дозволяє розгортання без коду.

Незважаючи на те, що він все ще знаходиться на тестовій мережі, Subsquid вже набрав вражаючі статистичні дані, має понад 80,000 користувачів тестової мережі, розгорнув понад 60,000 індексаторів Squid та має понад 20,000 підтверджених розробників. Недавно, 3 червня, Subsquid запустив основну мережу свого дата-озера.

Крім індексації, мережеве джерело даних Subsquid також може замінити RPC у випадках використання аналізу, ZK/TEE копроцесора, AI-агента та Оракула.

Підзапит

SubQuery - це децентралізована мережа базових інфраструктурних середовищ, яка надає послуги RPC та індексації даних. Спочатку вона підтримує мережі Polkadot та Substrate, а тепер розширилася на понад 200 ланцюгів. Її робота подібна до The Graph, яка використовує докази індексації, індексатори індексують дані та надають запити на запити, а делегати ставлять залоги на індексатора. Однак вона вводить споживачів для подання замовлень на покупку, щоб підтвердити, що дохід індексатора гарантований, а не управління.

Він введе в експлуатацію вузли даних SubQuery, що підтримує розділення, щоб уникнути постійної синхронізації нових даних між кожним вузлом, тим самим оптимізуючи ефективність запитів, одночасно рухаючись в бік більшої децентралізації. Користувачі можуть вибрати обчислювальну плату приблизно 1 SQT токенів за кожні 1000 запитів або налаштувати власні витрати для індексатора через протокол.

Незважаючи на те, що SubQuery випустив свою власну Токен цього року, винагороди за випуск нод та делегатів також зросли відносно до долара, що свідчить про постійне збільшення кількості запитів, які надаються на їхній платформі. З того часу, як відбулося TGE, загальний обсяг заблокованих SQT збільшився з 6 мільйонів до 125 мільйонів, що підкреслює зростання участі в їхній мережі.

Ковалентний

Covalent - це децентралізована мережа індексаторів, яка створює копії даних блокчейну шляхом масового експорту за допомогою мережевих вузлів виробників зразків блокчейну (BSP) і публікує докази на Covalent L1 блокчейні. Ці дані потім ретельно відбираються вузлами виробників результатів блокчейну (BRP) згідно з встановленими правилами, щоб відібрати відповідні дані.

За допомогою єдиного API розробники можуть легко витягти відповідні дані блокчейну в єдиному форматі запиту та відповіді, не потребуючи написання власних складних запитів для доступу до даних. Можна використовувати токен CQT, який заселяється на Moonbeam, як засіб оплати для отримання цих попередньо налаштованих наборів даних від постачальників мережі.

Винагорода Covalent здається зростає в цілому з першого кварталу 23 року до першого кварталу 24 року, частково через підвищення ціни токена Covalent CQT.

Питання щодо вибору індексатора

Персоналізація даних

Деякі індексатори (наприклад, Covalent) є універсальними індексаторами, які надають лише API стандартних наборів попередньо налаштованих даних. Хоча вони можуть бути швидкими, вони не можуть забезпечити гнучкість для розробників, які потребують налаштування власного набору даних. За допомогою фреймворку індексатора, він дозволяє здійснювати більше користувальницької обробки даних, щоб задовольнити конкретні потреби додатку.

Безпека

Дані індексу мають бути безпечними, інакше dApp, побудовані на цих індексаторах, також можуть бути піддаються атакам. Наприклад, якщо транзакції та баланси гаманців можуть бути маніпульовані, dApp може втратити ліквідність, що вплине на його користувачів. Хоча всі індексатори використовують якусь форму безпеки за допомогою застейкання токенів, інші рішення індексаторів можуть використовувати додаткові механізми підтвердження, щоб покращити безпеку.

Subsquid надає варіанти використання оптимістичних та доказів з нульовим розголошенням, тоді як Covalent також випускає докази, що містять значення хешу блоку. Graph надає спірний строк виклику для індексаторів у вигляді вікна оптимістичного виклику, а SubQuery генерує докази Merkle Mountain для кожного блоку для обчислення значення хешу кожного блоку всіх даних, збережених у їх базі даних.

Швидкість та масштабованість

Зі зростанням блокчейну обсяг торгівлі також зростає, що робить індексацію великої кількості даних більш складною, оскільки потрібно більше обчислювальних потужностей та простору для зберігання. Зі зростанням мережі блокчейну стає складніше підтримувати ефективність, але протокол індексатора вводить рішення, щоб задовольнити ці зростаючі потреби.

Наприклад, Subsquid розширюється горизонтально шляхом додавання більше вузлів для зберігання даних і може масштабуватися з покращенням апаратного забезпечення. Graph надає паралельні потоки даних для швидшої синхронізації даних, а SubQuery використовує розподіл вузлів для прискорення процесу синхронізації.

Підтримувані мережі

Незважаючи на те, що більшість блокчейн-подій все ще відбуваються в мережі Ethereum, з плином часу все більше уваги привертають різні блокчейни. Наприклад, Layer 2s, Solana, блокчейн Move та ланцюг екосистеми Bitcoin мають власний набір постійно зростаючих розробників та подій, що також потребує індексації.

Підтримка інших індексерів протокол певних мереж, які не підтримуються, може призвести до лонг комісії за частку ринку. Індексація мереж з великим об'ємом даних, таких як Solana, є непростим завданням, і поки що лише Subsquid успішно забезпечив їх підтримка індексації.

Висновок

Незважаючи на широке використання індексаторів у розробці додатків dApp, їх потенціал залишається великим, особливо в інтеграції з штучним інтелектом. З поширенням штучного інтелекту в Web2 та Web3 його можливості зростають завдяки доступу до відповідних даних для тренування моделей та розробки штучних інтелектуальних агентів. Забезпечення цілісності даних має величезне значення для додатків штучного інтелекту, оскільки це дозволяє запобігати введенню у модель упереджених або неточних даних.

У галузі рішень для індексаторів Subsquid досяг значних успіхів у сфері продуктивності та користувацьких показників. Користувачі вже почали використовувати Subsquid для побудови AI агентів, що демонструє універсальність та потенціал цієї платформи в постійно розвиваючійся галузі індексації даних. Крім того, інструменти, такі як AutoAgora, допомагають індексаторам використовувати штучний інтелект для динамічного ціноутворення послуг на The Graph, тоді як SubQuery підтримує кілька мереж штучного інтелекту (наприклад, OriginTrail та Oraichain), щоб забезпечити прозорий індекс даних.

Інтеграція штучного інтелекту та індексатора очікується збільшити доступність та корисність даних в екосистемі блокчейну. З використанням технології штучного інтелекту, індексатор може забезпечити більш ефективний та точний пошук даних, що дозволяє розробникам будувати більш складні додатки та аналітичні інструменти. З розвитком штучного інтелекту та індексатора ми все ще оптимістично ставимося до майбутнього і ролі індексації даних у формуванні децентралізованого цифрового ландшафту.