Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация и совместной технологии революции
В полной цепочке создания ценности ИИ обучение моделей является наиболее ресурсоемким и с высоким порогом входа этапом, который напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных инвестиций в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурной парадигмы способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным методом, который выполняется единственным учреждением в локальном высокопроизводительном кластере, охватывающем весь процесс обучения — от аппаратного обеспечения, основного программного обеспечения, системы управления кластерами до всех компонентов обучающего фреймворка, которые координируются единой контрольной системой. Такая глубокая совместная архитектура обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее особенно подходящей для обучения масштабных моделей, таких как GPT и Gemini, с преимуществами высокой эффективности и управляемости ресурсов, но одновременно существуют проблемы с монополией на данные, барьерами для ресурсов, потреблением энергии и рисками единой точки.
Распределённое обучение является основным способом тренировки больших моделей в настоящее время. Его суть заключается в том, чтобы разбить задачи тренировки модели на части и распределить их на несколько машин для совместного выполнения, чтобы преодолеть ограничения по вычислительной мощности и хранению данных на одной машине. Хотя в физическом плане он обладает "Децентрализация"-характеристиками, в целом он всё ещё контролируется централизованными учреждениями для управления и синхронизации, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели.
Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости;
Параллельные каналы: поэтапное последовательное выполнение для повышения пропускной способности;
Тензорное параллелизм: детальная сегментация матричных вычислений, повышение степени параллелизма.
Распределенное обучение — это комбинация «централизованного управления + распределенного выполнения», аналогично тому, как один и тот же начальник удаленно руководит несколькими «офисными» сотрудниками, чтобы совместно выполнять задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевыми характеристиками являются: несколько взаимно недоверяющих узлов (возможно, домашние компьютеры, облачные GPU или устройства на краю сети), которые совместно выполняют задачи обучения без центрального координатора, обычно через протоколы, которые управляют распределением задач и сотрудничеством, а также с помощью механизмов криптоощущения, обеспечивающих честность вклада. Основные вызовы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач;
Недостаток доверенного выполнения: отсутствие доверенной среды выполнения затрудняет проверку того, действительно ли узлы участвуют в вычислениях;
Отсутствие единого координирования: нет центрального диспетчера, распределение задач и механизмы отката ошибок сложны.
Децентрализация тренировки может пониматься как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "настоящая масштабируемая децентрализованная тренировка" все еще остается системной инженерной задачей, затрагивающей архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, верификацию модели и другие уровни. Однако возможность "совместной эффективности + стимуляции честности + правильности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенными и Децентрализация подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности (например, в медицине и финансах). Федеративное обучение обладает инженерной структурой распределенного обучения и возможностями локальной кооперации, при этом сочетая преимущества распреденной обработки данных, но все же зависит от доверенной координирующей стороны и не имеет полностью открытых и антикоррупционных характеристик. Это можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно умеренны, что делает его более подходящим в качестве переходной архитектуры для индустрии.
AI тренинг парадигм панорамное сравнение таблицы (техническая архитектура × доверительные стимулы × особенности применения)
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или большой сложности сотрудничества, она по своей природе не подходит для эффективного выполнения на гетерогенных, недоверительных узлах. Например, обучение больших моделей часто зависит от высокого объема видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет их эффективное разбиение и синхронизацию в открытых сетях; задачи с сильными ограничениями по конфиденциальности данных и суверенитету (например, в области здравоохранения, финансов, секретных данных) ограничены юридическими и этическими нормами и не могут быть открыто поделены; а задачи, лишенные основы для кооперативного стимула (например, корпоративные закрытые модели или внутреннее обучение прототипов), не имеют внешнего мотива для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализация обучения.
Но это не означает, что Децентрализация обучения является ложным понятием. На самом деле, в задачах с легкой структурой, хорошей возможностью параллелизма и стимулами для участия, Децентрализация обучения демонстрирует ясные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения по выравниванию поведения (такие как RLHF, DPO), задачи обучения и аннотирования данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи, как правило, обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и т.д.
В настоящее время на переднем крае децентрализованного обучения и федеративного обучения представительные блокчейн-проекты в основном включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в области системной архитектуры и алгоритмического проектирования, что представляет собой передовые направления текущих теоретических исследований; в то время как реализационные пути Gensyn и Flock.io относительно ясны, и уже можно увидеть первые шаги в сторону инженеризации. В данной статье последовательно будут проанализированы ключевые технологии и инженерные архитектуры за этими пятью проектами, а также будет дополнительно обсуждено их различие и взаимодополняющие отношения в децентрализованной системе обучения ИИ.
Prime Intellect: пионер кооперативных сетей обучения с подкреплением с проверяемыми траекториями обучения
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя любому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полным механизмом стимулов, используя три основных модуля: PRIME-RL + TOPLOC + SHARDCAST.
Одна, структура стека протоколов Prime Intellect и ценность ключевых модулей
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного усиленного обучения с декомпозицией
PRIME-RL — это структура моделирования задач и выполнения, разработанная Prime Intellect для децентрализованных сценариев обучения, специально предназначенная для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного адаптивного объекта, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому узлу обучения независимо завершать цикл задач локально и взаимодействовать через стандартизированные интерфейсы с механизмами валидации и агрегации. По сравнению с традиционным процессом обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в среде без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения во время тренировок
TOPLOC (Trusted Observation & Policy-Locality Check) — это основная механика верифицируемости обучения, предложенная Prime Intellect, которая используется для оценки того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальную согласованность траекторий между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он преобразует траекторию поведения в процессе обучения в верифицируемый объект, что является ключевым инновационным шагом для достижения распределения наград за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания可审计、可激励的 Децентрализация协作训练网络.
SHARDCAST: Протокол асинхронной агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, специально оптимизированный для асинхронных, ограниченных по пропускной способности и изменяющихся по состоянию узлов реальных сетевых условий. Он сочетает в себе механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях различной синхронизации, достигая прогрессивного сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основным фундаментом для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo — это оптимизированный фреймворк для связи, независимо реализованный и открытый командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в децентрализованном обучении. Его архитектура основана на параллельной обработке данных, благодаря построению разреженных топологий, таких как Ring, Expander и Small-World, что позволяет избежать высоких затрат на коммуникацию, связанных с глобальной синхронизацией, и завершить совместное обучение моделей, полагаясь только на соседние узлы. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в обучающих задачах и значительно повышает участие в глобальном кооперативном обучении, являясь одной из ключевых коммуникационных инфраструктур для построения сети децентрализованного обучения.
PCCL: Библиотека совместной связи
PCCL (Библиотека связи Prime Collective) — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи (таких как NCCL, Gloo) в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает пропускную способность сети для обучения и совместимость устройств, прокладывая "последнюю милю" связи для создания действительно открытой, не требующей доверия сети совместного обучения.
Три. Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал тренировочную сеть, не требующую разрешений, проверяемую и обладающую экономическими стимулами, позволяющую любому участвовать в задачах и получать вознаграждение на основе реальных вкладов. Протокол работает на основе трех основных ролей:
Инициатор задачи: определение обучающей среды, начальной модели, функции вознаграждения и стандартов валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы проверки: Использование механизма TOPLOC для проверки подлинности обучающих действий и участия в расчетах вознаграждений и агрегации стратегий.
Ядро процесса протокола включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, образуя замкнутый цикл стимулов, основанный на "реальных обучающих действиях".
 и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
8 Лайков
Награда
8
3
Репост
Поделиться
комментарий
0/400
UnluckyMiner
· 08-12 15:32
Пусть крутят, крутят, но не смогут превзойти крупные компании.
Посмотреть ОригиналОтветить0
MeltdownSurvivalist
· 08-12 15:32
Эта стоимость тренировки просто невообразима.
Посмотреть ОригиналОтветить0
HodlBeliever
· 08-12 15:30
Эта волна ai тренировочных соревнований имеет риск-фактор три звезды. Рекомендуем наблюдать.
Революция в обучении ИИ: техническая эволюция от централизованного контроля к Децентрализации и сотрудничеству
Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация и совместной технологии революции
В полной цепочке создания ценности ИИ обучение моделей является наиболее ресурсоемким и с высоким порогом входа этапом, который напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных инвестиций в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурной парадигмы способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным методом, который выполняется единственным учреждением в локальном высокопроизводительном кластере, охватывающем весь процесс обучения — от аппаратного обеспечения, основного программного обеспечения, системы управления кластерами до всех компонентов обучающего фреймворка, которые координируются единой контрольной системой. Такая глубокая совместная архитектура обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее особенно подходящей для обучения масштабных моделей, таких как GPT и Gemini, с преимуществами высокой эффективности и управляемости ресурсов, но одновременно существуют проблемы с монополией на данные, барьерами для ресурсов, потреблением энергии и рисками единой точки.
Распределённое обучение является основным способом тренировки больших моделей в настоящее время. Его суть заключается в том, чтобы разбить задачи тренировки модели на части и распределить их на несколько машин для совместного выполнения, чтобы преодолеть ограничения по вычислительной мощности и хранению данных на одной машине. Хотя в физическом плане он обладает "Децентрализация"-характеристиками, в целом он всё ещё контролируется централизованными учреждениями для управления и синхронизации, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Распределенное обучение — это комбинация «централизованного управления + распределенного выполнения», аналогично тому, как один и тот же начальник удаленно руководит несколькими «офисными» сотрудниками, чтобы совместно выполнять задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевыми характеристиками являются: несколько взаимно недоверяющих узлов (возможно, домашние компьютеры, облачные GPU или устройства на краю сети), которые совместно выполняют задачи обучения без центрального координатора, обычно через протоколы, которые управляют распределением задач и сотрудничеством, а также с помощью механизмов криптоощущения, обеспечивающих честность вклада. Основные вызовы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может пониматься как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "настоящая масштабируемая децентрализованная тренировка" все еще остается системной инженерной задачей, затрагивающей архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, верификацию модели и другие уровни. Однако возможность "совместной эффективности + стимуляции честности + правильности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенными и Децентрализация подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности (например, в медицине и финансах). Федеративное обучение обладает инженерной структурой распределенного обучения и возможностями локальной кооперации, при этом сочетая преимущества распреденной обработки данных, но все же зависит от доверенной координирующей стороны и не имеет полностью открытых и антикоррупционных характеристик. Это можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно умеренны, что делает его более подходящим в качестве переходной архитектуры для индустрии.
AI тренинг парадигм панорамное сравнение таблицы (техническая архитектура × доверительные стимулы × особенности применения)
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или большой сложности сотрудничества, она по своей природе не подходит для эффективного выполнения на гетерогенных, недоверительных узлах. Например, обучение больших моделей часто зависит от высокого объема видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет их эффективное разбиение и синхронизацию в открытых сетях; задачи с сильными ограничениями по конфиденциальности данных и суверенитету (например, в области здравоохранения, финансов, секретных данных) ограничены юридическими и этическими нормами и не могут быть открыто поделены; а задачи, лишенные основы для кооперативного стимула (например, корпоративные закрытые модели или внутреннее обучение прототипов), не имеют внешнего мотива для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализация обучения.
Но это не означает, что Децентрализация обучения является ложным понятием. На самом деле, в задачах с легкой структурой, хорошей возможностью параллелизма и стимулами для участия, Децентрализация обучения демонстрирует ясные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения по выравниванию поведения (такие как RLHF, DPO), задачи обучения и аннотирования данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи, как правило, обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и т.д.
Обзор адаптивности задач децентрализации
Децентрализация тренировки классических проектов解析
В настоящее время на переднем крае децентрализованного обучения и федеративного обучения представительные блокчейн-проекты в основном включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в области системной архитектуры и алгоритмического проектирования, что представляет собой передовые направления текущих теоретических исследований; в то время как реализационные пути Gensyn и Flock.io относительно ясны, и уже можно увидеть первые шаги в сторону инженеризации. В данной статье последовательно будут проанализированы ключевые технологии и инженерные архитектуры за этими пятью проектами, а также будет дополнительно обсуждено их различие и взаимодополняющие отношения в децентрализованной системе обучения ИИ.
Prime Intellect: пионер кооперативных сетей обучения с подкреплением с проверяемыми траекториями обучения
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя любому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полным механизмом стимулов, используя три основных модуля: PRIME-RL + TOPLOC + SHARDCAST.
Одна, структура стека протоколов Prime Intellect и ценность ключевых модулей
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного усиленного обучения с декомпозицией
PRIME-RL — это структура моделирования задач и выполнения, разработанная Prime Intellect для децентрализованных сценариев обучения, специально предназначенная для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного адаптивного объекта, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому узлу обучения независимо завершать цикл задач локально и взаимодействовать через стандартизированные интерфейсы с механизмами валидации и агрегации. По сравнению с традиционным процессом обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в среде без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения во время тренировок
TOPLOC (Trusted Observation & Policy-Locality Check) — это основная механика верифицируемости обучения, предложенная Prime Intellect, которая используется для оценки того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальную согласованность траекторий между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он преобразует траекторию поведения в процессе обучения в верифицируемый объект, что является ключевым инновационным шагом для достижения распределения наград за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания可审计、可激励的 Децентрализация协作训练网络.
SHARDCAST: Протокол асинхронной агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, специально оптимизированный для асинхронных, ограниченных по пропускной способности и изменяющихся по состоянию узлов реальных сетевых условий. Он сочетает в себе механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях различной синхронизации, достигая прогрессивного сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основным фундаментом для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная рамка
OpenDiLoCo — это оптимизированный фреймворк для связи, независимо реализованный и открытый командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в децентрализованном обучении. Его архитектура основана на параллельной обработке данных, благодаря построению разреженных топологий, таких как Ring, Expander и Small-World, что позволяет избежать высоких затрат на коммуникацию, связанных с глобальной синхронизацией, и завершить совместное обучение моделей, полагаясь только на соседние узлы. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в обучающих задачах и значительно повышает участие в глобальном кооперативном обучении, являясь одной из ключевых коммуникационных инфраструктур для построения сети децентрализованного обучения.
PCCL: Библиотека совместной связи
PCCL (Библиотека связи Prime Collective) — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи (таких как NCCL, Gloo) в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает пропускную способность сети для обучения и совместимость устройств, прокладывая "последнюю милю" связи для создания действительно открытой, не требующей доверия сети совместного обучения.
Три. Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал тренировочную сеть, не требующую разрешений, проверяемую и обладающую экономическими стимулами, позволяющую любому участвовать в задачах и получать вознаграждение на основе реальных вкладов. Протокол работает на основе трех основных ролей:
Ядро процесса протокола включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, образуя замкнутый цикл стимулов, основанный на "реальных обучающих действиях".
![Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация совместной технологии](