Священный Грааль Crypto AI: передовые исследования децентрализованного обучения

В полной цепочке создания стоимости ИИ модельное обучение является наиболее ресурсозатратным и труднодоступным этапом, который напрямую определяет предел возможностей модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных масштабных вычислительных затрат, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализация, о которой идет речь в данной статье.

Централизованное обучение является наиболее распространенным традиционным способом, при котором единый институт выполняет весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, базового программного обеспечения, системы управления кластером до всех компонентов обучающей рамки, которые координируются единой управляющей системой. Эта глубоко скоординированная архитектура позволяет оптимизировать эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает её особенно подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая высокими показателями эффективности и контролируемыми ресурсами, но также сталкивается с проблемами монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки.

Распределённое обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в том, чтобы разбить задачи обучения модели и распределить их на несколько машин для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одном устройстве. Несмотря на наличие "распределённых" характеристик на физическом уровне, в целом управление и синхронизация по-прежнему контролируется централизованными учреждениями, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:

• Параллельные данные: каждый узел обучает разные данные, параметры делятся, необходимо сопоставить веса модели
• Модельное параллелизм: развертывание различных частей модели на различных узлах для достижения высокой масштабируемости
• Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
• Тензорное параллелизм: детальная сегментация матричных вычислений, повышение уровня параллелизма

Распределенное обучение является комбинацией "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно руководит несколькими "офисами", сотрудниками, сотрудничающими для выполнения задач. В настоящее время почти все основные большие модели обучаются именно таким образом.

Децентрализация тренировки представляет собой более открытую и устойчивую к цензуре будущую траекторию. Ее ключевая характеристика заключается в том, что несколько недоверяющих друг другу узлов ( могут быть домашними компьютерами, облачными GPU или периферийными устройствами ), которые совместно выполняют задачи обучения без центрального координатора, обычно через протоколы, управляющие распределением задач и сотрудничеством, и с помощью криптостимулов для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:

• Гетерогенность устройств и сложности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
• Узкие места в эффективности связи: нестабильная сетевая связь, явные узкие места в синхронизации градиентов
• Отсутствие доверенного выполнения: недостаток доверенной вычислительной среды, трудно проверить, действительно ли узлы участвуют в вычислениях
• Отсутствие единой координации: нет центрального диспетчера, распределение задач и механизмы отката ошибок сложны.

Децентрализация тренировки можно понимать как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно осуществимая крупномасштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и т.д., но возможность "совместного эффекта + стимулирования честности + правильности результатов" все еще находится на стадии раннего прототипирования.

Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными способностями, одновременно обладая преимуществами распределенных данных при Децентрализация обучения, но по-прежнему зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, которая относительно умеренна в задачах обучения, структурах доверия и механизмах связи, что делает её более подходящей в качестве переходной архитектуры для промышленного развертывания.

![Святой Грааль Crypto AI: Децентрализация в переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-54f873467039017a5be1545c4b2aa6b5.webp(

Децентрализация тренировки: границы, возможности и реальные пути

С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или высокой сложности сотрудничества, она естественным образом не подходит для эффективного выполнения на гетерогенных, децентрализованных узлах. Например, обучение больших моделей часто зависит от большой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, сильно ограниченные данными о конфиденциальности и суверенитете, подвержены юридическим и этическим ограничениям, и их нельзя открыто делиться; а задачи, лишенные основ для сотрудничества, не имеют внешней мотивации для участия. Эти границы вместе составляют реальные ограничения текущего процесса Децентрализации обучения.

Но это не означает, что Децентрализация обучения является ложной концепцией. На самом деле, в задачах с легкой структурой, которые легко параллелизуются и могут быть стимулированы, Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи послеобучения, связанные с выравниванием поведения, такие как RLHF, DPO), задачи по обучению и аннотированию данных через краудсорсинг, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием устройств на краю сети. Эти задачи обычно имеют высокую параллельность, низкую связанность и толерантность к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протокол Swarm и распределенные оптимизаторы.

Децентрализация тренировки классических проектов анализа

В настоящее время в области децентрализованного обучения и федеративного обучения наиболее знаковыми блокчейн-проектами являются Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмного дизайна, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первые шаги в инженерной реализации. В данной статье будут поочередно разобраны ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет более подробно обсуждено их различие и взаимодополнение в системе децентрализованного AI-обучения.

( Prime Intellect: Обучающие траектории проверяемых усиленных сетей сотрудничества.

Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полным механизмом стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.

)# 01, Структура и ключевые модули ценности протокола Prime Intellect

![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения]###https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp###

(# 02、Подробное объяснение ключевых механизмов тренировки Prime Intellect

PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией

PRIME-RL является рамочной моделью задач и выполнения, разработанной Prime Intellect для децентрализованных тренировочных сценариев, специально созданной для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процесс обучения, вывода и загрузки весов, что позволяет каждому узлу обучения независимо завершать циклы задач локально и сотрудничать с механизмами проверки и агрегирования через стандартизированные интерфейсы. В отличие от традиционного процесса обучения с учителем, PRIME-RL более подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.

TOPLOC: Легковесный механизм верификации поведения обучения

TOPLOC)Доверенное Наблюдение и Проверка Политики-Локальности### является основным механизмом проверки обучаемости, предложенным Prime Intellect, для определения того, действительно ли узел выполнил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полного пересчета модели, а вместо этого анализирует локальные последовательности согласованности между "последовательностью наблюдений ↔ обновлением стратегии", чтобы завершить верификацию легкой структуры. Он впервые преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для достижения распределения наград за обучение без доверия, предоставляя выполнимый путь для создания аудитируемой и мотивированной децентрализованной сети совместного обучения.

SHARDCAST: Протокол асинхронной агрегации и распространения весов

SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным по пропускной способности и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, что обеспечивает прогрессивное сходимость весов и эволюцию нескольких версий. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям децентрализованного обучения и является основным фундаментом для построения стабильного консенсуса по весам и непрерывной итерации обучения.

OpenDiLoCo:Разреженная асинхронная коммуникационная структура

OpenDiLoCo — это независимая реализация и открытая коммуникационная оптимизационная рамка, созданная командой Prime Intellect на основе концепции DiLoCo, специально разработанная для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто возникают в процессе Децентрализация обучения. Его архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на коммуникацию, связанных с глобальной синхронизацией, полагаясь лишь на соседние узлы. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в учебных задачах, значительно увеличивая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация обучения.

PCCL:Библиотека совместной связи

PCCL(Prime Collective Communication Library) является легковесной библиотекой связи, разработанной Prime Intellect для Децентрализация AI тренировочной среды, направленной на решение проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повысил толерантность к пропускной способности тренировочных сетей и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для построения действительно открытой, ненадежной сети совместного обучения.

(# 03, Сеть стимулирования и ролевое подразделение Prime Intellect

Prime Intellect создал сеть тренировки, которая не требует разрешений, является проверяемой и имеет экономические стимулы, позволяя каждому участвовать в задачах и получать вознаграждения на основе реального вклада. Протокол работает на основе трех основных ролей:

• Инициатор задания: определение тренировочной среды, начальной модели, функции награды и стандартов валидации
• Обучающие узлы: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
• Узлы верификации: Использование механизма TOPLOC для проверки подлинности учебного поведения и участия в расчете вознаграждений и агрегации стратегий.

Основные процессы протокола включают в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов )SHARDCAST### и распределение вознаграждений, образуя замкнутый цикл стимулов, основанный на "реальном обучающем поведении".

(# 04, INTELLECT-2: Публикация первой проверяемой Децентрализации обучающей модели

Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире модель глубокого обучения, обученная с помощью асинхронных, доверительных Децентрализация узлов, с масштабом параметров 32B. Модель INTELLECT-2 была обучена с помощью более 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения превышает 400 часов, что демонстрирует жизнеспособность и стабильность асинхронной кооперативной сети. Эта модель не только представляет собой прорыв в производительности, но и является примером предложенной Prime Intellect парадигмы "обучение как консенсус".