Святий Грааль Crypto AI: передові дослідження децентралізованого навчання

У повній ціннісній ланці AI модельне навчання є етапом, що найбільше споживає ресурси та має найвищий технічний бар'єр, що безпосередньо визначає межі можливостей моделі та фактичну ефективність застосування. На відміну від легковагих викликів на етапі інференції, процес навчання вимагає постійних великих обсягів обчислювальної потужності, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" системи AI. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основним об'єктом обговорення в цій статті.

Централізоване навчання є найпоширенішим традиційним способом, який виконується єдиною установою в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, базового програмного забезпечення, системи управління кластером до всіх компонентів навчальної платформи, координується єдиною системою управління. Така глибока координація архітектури дозволяє досягти оптимальної ефективності у спільному використанні пам'яті, синхронізації градієнтів та механізмах відмовостійкості, що робить її дуже придатною для навчання масштабних моделей, таких як GPT, Gemini, з перевагами у вигляді високої ефективності та контрольованих ресурсів, але водночас існують проблеми з монополізацією даних, бар'єрами для ресурсів, споживанням енергії та ризиками єдиної точки.

Розподілене навчання є основним методом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислювальних і пам'яткових можливостей одного комп'ютера. Хоча фізично має "розподілений" характер, але в цілому все ще контролюється централізованою установою, яка виконує управління та синхронізацію, часто працює в середовищі високошвидкісної локальної мережі, за допомогою технології високошвидкісної інтеграції NVLink, основний вузол координує всі підзавдання. Основні методи включають:

• Паралельність даних: кожен вузол навчає різні дані, параметри спільні, потрібно відповідати вагам моделі
• Модульне паралелізування: розгортання різних частин моделі на різних вузлах для досягнення високої масштабованості
• Паралельне виконання трубопроводів: поетапне послідовне виконання, підвищує пропускну здатність
• Тензорне паралельне обчислення: уточнене розподіл матричних обчислень, підвищення паралельності

Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же бос дистанційно керує співробітниками з кількох "офісів" для виконання завдання. Наразі майже всі основні великі моделі навчаються цим способом.

Децентралізація тренування означає більш відкритий та стійкий до цензури шлях у майбутнє. Його основними характеристиками є: кілька взаємно недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайніми пристроями ), які спільно виконують завдання тренування без централізованого координатора, зазвичай через протокол, який керує розподілом завдань та співпрацею, та використовує механізми криптостимулів для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:

• Гетерогенність обладнання та труднощі розподілу: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань
• Вузьке місце в ефективності зв'язку: нестабільність мережевого зв'язку, помітне вузьке місце в синхронізації градієнтів
• Відсутність надійного виконання: відсутність надійного середовища виконання, важко перевірити, чи дійсно вузли беруть участь у обчисленнях
• Відсутність єдиної координації: немає центрального диспетчера, складний розподіл завдань, механізм відкату помилок.

Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але "справді життєздатне масове децентралізоване навчання" все ще є системним інженерним викликом, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, перевірку моделей та інші аспекти, але питання про те, чи може бути "спільна ефективність + стимулювання чесності + правильність результатів" все ще перебуває на етапі раннього прототипування.

Федеративне навчання, як перехідна форма між розподіленим та децентралізованим, підкреслює збереження даних локально та централізовану агрегацію параметрів моделі, підходить для сценаріїв, що акцентують увагу на відповідності щодо конфіденційності, таких як охорона здоров'я, фінанси (. Федеративне навчання володіє інженерною структурою розподіленого навчання та можливостями локальної співпраці, одночасно маючи переваги розподілених даних децентралізованого навчання, але все ще залежить від надійних координуючих сторін і не має повністю відкритих та антикорупційних характеристик. Його можна розглядати як "контрольоване децентралізоване" рішення у сценаріях відповідності щодо конфіденційності, яке є відносно м'яким у задачах навчання, структурах довіри та комунікаційних механізмах, що робить його більш придатним для промислових перехідних архітектур.

![Святий Грааль Crypto AI: Децентралізація тренування на передовій дослідження])https://img-cdn.gateio.im/webp-social/moments-54f873467039017a5be1545c4b2aa6b5.webp(

Децентралізація тренувань: межі, можливості та реальні шляхи

З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдань, надзвичайно високі вимоги до ресурсів або значні труднощі в кооперації, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективне розподіл та синхронізацію в відкритих мережах; завдання, які обмежені приватністю даних і суворими вимогами до суверенітету, підпорядковуються юридичним вимогам і етичним обмеженням, що унеможливлює відкритий обмін; а завдання, які не мають основи для коопераційних стимулів, відчувають брак зовнішньої мотивації для участі. Ці межі спільно формують поточні реальні обмеження децентралізованого навчання.

Але це не означає, що децентралізоване навчання є псевдозадачею. Насправді, у легких за структурою, простих для паралельного виконання та заохочувальних типах завдань децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: мікронастройкою LoRA, завданнями після навчання для вирівнювання поведінки ), такими як RLHF, DPO (, навчанням і маркуванням даних через краудсорсинг, навчанням малих базових моделей з контрольованими ресурсами, а також сценами кооперативного навчання за участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язність і толерантність до гетерогенних обчислювальних потужностей, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протоколи Swarm, розподілені оптимізатори тощо.

![Святий Грааль Crypto AI: Децентралізація навчання на передовій])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(

Децентралізація тренування класичних проєктів аналіз

На сьогодні в області децентралізованого навчання та федеративного навчання основними представницькими блокчейн-проектами є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai пропонують чимало оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, представляючи сучасні напрямки теоретичних досліджень; тоді як реалізаційні шляхи Gensyn та Flock.io відносно чіткі, і вже можна побачити початковий прогрес в інженерії. У цій статті будуть послідовно проаналізовані ключові технології та інженерні архітектури, що стоять за цими п'ятьма проектами, а також подальше обговорення їхніх відмінностей та взаємодоповнюючих відносин у децентралізованій системі навчання ШІ.

) Prime Intellect: тренувальна траєкторія, що підлягає верифікації, посилена навчальна кооперативна мережа попередник

Prime Intellect прагне створити мережу навчання ШІ без необхідності довіри, яка дозволяє кожному брати участь у навчанні та отримувати довірливі винагороди за свої обчислювальні внески. Prime Intellect сподівається побудувати систему децентралізованого навчання ШІ з трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST, яка має верифікацію, відкритість та повноцінний механізм стимулювання.

01、Структура та ключові модулі цінності протоколу Prime Intellect

![Святий Грааль Crypto AI: Децентралізація навчання на передовій досліджень]###https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(

)# 02, Детальний аналіз ключових механізмів тренування Prime Intellect

PRIME-RL: Декуплінгова асинхронна архітектура задач посилювального навчання

PRIME-RL є фреймворком моделювання та виконання завдань, спеціально розробленим Prime Intellect для децентралізованих навчальних сценаріїв, призначеним для гетерогенних мереж та асинхронних учасників. Він використовує підкріплювальне навчання як пріоритетний об'єкт адаптації, структурно декомпонуючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикли завдань на місцевому рівні та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації еластичного навчання в умовах безцентрового керування, що знижує складність системи та закладає основу для підтримки паралельних багатозадачних процесів та еволюції стратегій.

TOPLOC: легкий механізм верифікації поведінки навчання

TOPLOC###Довірене спостереження та перевірка локальності( є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення того, чи дійсно вузол завершив ефективне навчання стратегій на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повторний розрахунок всього моделі, а завершує верифікацію легковагової структури шляхом аналізу локальної узгодженості траєкторій між "послідовністю спостережень ↔ оновленням стратегій". Він вперше перетворює поведінкові траєкторії в процесі навчання на перевірені об'єкти, що є ключовим нововведенням для реалізації бездостовірного розподілу винагород за навчання, забезпечуючи реальний шлях для створення аудиторської та стимулюючої децентралізованої мережі спільного навчання.

SHARDCAST: асинхронна агрегація ваг та протокол поширення

SHARDCAST є протоколом поширення та агрегації ваг, розробленим Prime Intellect, оптимізованим спеціально для асинхронних, обмежених за пропускною здатністю та змінних станів вузлів у реальних мережевих умовах. Він поєднує механізм поширення gossip з локальною синхронізацією, що дозволяє кільком вузлам продовжувати надсилати часткові оновлення в умовах несинхронізації, досягаючи поступової конвергенції ваг та багатоверсійної еволюції. У порівнянні з централізованими або синхронізованими методами AllReduce, SHARDCAST суттєво покращує масштабованість і відмовостійкість децентралізованого навчання, є основою для створення стабільного консенсусу ваг та безперервної ітерації навчання.

OpenDiLoCo: Рідкісний асинхронний комунікаційний фреймворк

OpenDiLoCo є комунікаційним оптимізаційним фреймворком, незалежно реалізованим та відкритим командою Prime Intellect на основі концепції DiLoCo, спеціально розробленим для вирішення викликів, які часто виникають під час децентралізованого навчання, таких як обмежена пропускна спроможність, гетерогенність пристроїв та нестабільність вузлів. Його архітектура базується на паралельній обробці даних, шляхом побудови рідких топологій, таких як кільцеві, розширювальні, малосвітові, що дозволяє уникнути великих витрат на зв'язок при глобальному синхронізації, та для виконання спільного навчання моделі використовує лише сусідні локальні вузли. Поєднуючи асинхронне оновлення та механізм відновлення після збоїв, OpenDiLoCo дозволяє споживчим GPU та крайовим пристроям стабільно брати участь у навчальних завданнях, суттєво підвищуючи можливість участі у глобальному спільному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.

PCCL:Бібліотека кооперативного зв'язку

PCCL)Prime Collective Communication Library( є легким комунікаційним бібліотекою, розробленим Prime Intellect для децентралізованого AI навчального середовища, що має на меті вирішення вузьких місць адаптації традиційних комунікаційних бібліотек на гетерогенних пристроях та у мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, прокладаючи "остання милю" для комунікаційної інфраструктури, що забезпечує дійсно відкриту, без довіри кооперативну навчальну мережу.

![Святий грааль Crypto AI: Децентралізація тренування на передовій дослідження])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(

)# 03、Prime Intellect стимулююча мережа та розподіл ролей

Prime Intellect створив мережу навчання без дозволу, яку можна перевірити, з економічними механізмами стимулювання, що дозволяє кожному брати участь у завданнях і отримувати винагороду на основі реального внеску. Протокол працює на базі трьох основних ролей:

• ініціатор завдання: визначити навчальне середовище, початкову модель, функцію винагороди та стандарти валідації
• Навчальні вузли: виконання локального навчання, подання оновлень ваг та спостереження за траєкторією
• Вузли верифікації: використовують механізм TOPLOC для перевірки справжності навчальної поведінки та беруть участь у розрахунку винагород і агрегації стратегій

Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траекторій, агрегацію ваги ###SHARDCAST( та виплату винагород, що формує стимулюючий замкнутий цикл навколо "реальної навчальної поведінки".

![Святий Грааль Crypto AI: Децентралізація навчання на передовій])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(

)# 04、INTELLECT-2:Перший перевірений децентралізований навчальний модель.

Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель зміцнення, що була навчена за допомогою асинхронної, не довіреної Децентралізації вузлів. Кількість параметрів досягає 32B. Модель INTELLECT-2 була завершена завдяки спільному навчання понад 100 ГПУ гетерогенних вузлів, розташованих на трьох континентах, з використанням повністю асинхронної архітектури, тривалість навчання перевищує 400 годин, що демонструє життєздатність і стабільність асинхронної кооперативної мережі. Ця модель не лише є проривом у продуктивності, але й уявляє собою парадигму "навчання як консенсус", запропоновану Prime Intellect.