Святой Грааль Crypto AI: Передовые исследования децентрализованного обучения
В полной цепочке ценностей ИИ обучение модели является этапом с наибольшим потреблением ресурсов и самым высоким технологическим порогом, который напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных вложений в масштабные вычисления, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основной темой данного текста.
Централизованное обучение является наиболее распространенным традиционным способом, при котором единая организация выполняет весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластером до всех компонентов обучающего фреймворка, которые координируются единой системой управления. Эта глубокая совместная архитектура позволяет достичь оптимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает ее очень подходящей для обучения масштабных моделей, таких как GPT и Gemini, имея преимущества высокой эффективности и управляемых ресурсов. Однако одновременно существуют проблемы монополии на данные, барьеров для ресурсов, потребления энергии и рисков единой точки.
Распределённое обучение является основным способом обучения больших моделей на сегодняшний день, его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одной машине. Хотя физически оно обладает признаками "Децентрализации", в целом всё ещё контролируется централизованными организациями для координации и синхронизации, часто работает в среде высокоскоростных локальных сетей, используя технологию высокоскоростной межсоединительной шины NVLink для единого координирования подзадач главным узлом. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
Модельное параллелизм: развертывание различных частей модели на различных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, увеличение пропускной способности
Тензорное параллелизм: детальная сегментация матричных вычислений, повышение параллельной гранулярности
Распределённое обучение — это комбинация "центрированного управления + распределённого исполнения", аналогично тому, как один и тот же руководитель дистанционно управляет сотрудниками нескольких "офисов", чтобы совместно выполнять задачи. В настоящее время почти все основные большие модели обучаются именно этим способом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая особенность заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием криптоин incentives для обеспечения добросовестности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Проблемы с гетерогенностью устройств и разделением задач: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Отсутствие доверенного выполнения: отсутствие доверенной вычислительной среды, трудно проверить, действительно ли узел участвует в вычислении.
Недостаток единой координации: отсутствие центрального диспетчера, сложное распределение задач и механизм отката ошибок
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместного обучения модели, но "действительно осуществимая массовая децентрализация тренировки" все еще представляет собой системную инженерную задачу, затрагивающую архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию моделей и другие аспекты, но возможность "совместной эффективности + стимулов для честности + правильных результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенными и Децентрализация, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, что делает его подходящим для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и возможностями локальной кооперации, одновременно имея преимущества распределенных данных при Децентрализация, но по-прежнему зависит от надежной координирующей стороны и не обладает полностью открытыми и антицензурными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, где задачи обучения, структуры доверия и коммуникационные механизмы относительно мягкие, что делает его более подходящим для переходной архитектуры развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или значительных трудностей в сотрудничестве, она естественным образом не подходит для эффективного выполнения на гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, связанные с конфиденциальностью данных и ограничениями суверенитета, ограничены юридическими и этическими нормами, что не позволяет открыто делиться; а задачи, которые не имеют основы для совместного стимулирования, лишены внешнего мотива для участия. Эти границы совместно составляют текущие реальные ограничения Децентрализованного обучения.
Но это не означает, что Децентрализация тренировки является ложным утверждением. На самом деле, в задачах с легкой структурой, легкой параллельной обработкой и возможностью стимуляции, Децентрализация тренировки демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи пост-тренировки по выравниванию поведения (, такие как RLHF, DPO ), обучение и аннотирование данных с краудсорсингом, обучение небольших базовых моделей с контролем ресурсов, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и допускают гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировки классических проектов
На данный момент в области Децентрализация обучения и федеративного обучения, представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в проектировании системной архитектуры и алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как у Gensyn и Flock.io пути реализации относительно ясны, уже можно увидеть предварительные результаты инженерной реализации.
Prime Intellect: проверяемые траектории тренировки для сетей сотрудничества в усиленном обучении
Prime Intellect стремится создать сеть тренировки ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать заслуженные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему тренировки ИИ с полной верификацией, открытостью и механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Структура стеков протокола Prime Intellect и ценность ключевых модулей
Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач для асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является рамками моделирования и выполнения задач, разработанными Prime Intellect для децентрализованных обучающих сценариев, специально предназначенными для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, позволяя каждому обучающему узлу независимо завершать цикл задач локально и сотрудничать через стандартизированные интерфейсы с механизмами проверки и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL более подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения многозадач и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения тренировки
TOPLOC — это核心机制可验证性, предложенная Prime Intellect, используемая для определения того, завершил ли узел действительно эффективное обучение стратегии на основе данных наблюдений. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальную согласованность между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он преобразует траекторию поведения в процессе обучения в проверяемый объект, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия, предоставляя жизнеспособный путь для построения可审计、可激励的 Децентрализация协作训练网络.
#SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным пропускным каналом и изменяющимся состоянием узлов. Он сочетает в себе механизм gossip-распространения и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях асинхронного состояния, достигая прогрессивной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса весов и непрерывной итерации обучения.
OpenDiLoCo - это коммуникационный оптимизационный фреймворк, разработанный командой Prime Intellect на основе идеи DiLoCo, предложенной DeepMind, который реализован независимо и открыт для использования. Он специально разработан для решения таких проблем, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются в процессе децентрализованного обучения. Его архитектура основана на параллелизме данных и избегает высоких затрат на коммуникацию, связанных с глобальной синхронизацией, путем построения разреженных топологических структур, таких как Ring, Expander и Small-World, полагаясь только на локальных соседей для выполнения совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в обучающих задачах, значительно повышая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения сети децентрализованного обучения.
#PCCL:Библиотека совместной коммуникации
PCCL — это легковесная коммуникационная библиотека, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных коммуникационных библиотек на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, что делает его основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает устойчивость к пропускной способности сети для обучения и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Prime Intellect 激励 сеть и распределение ролей
Prime Intellect построил сеть обучения, не требующую разрешения, с возможностью проверки и экономическими стимулами, позволяющую любому участвовать в заданиях и получать награды на основе реального вклада. Протокол работает на основе трех типов основных ролей:
Инициатор задачи: определяет обучающую среду, начальную модель, функцию вознаграждения и критерии валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы проверки: использование механизма TOPLOC для проверки подлинности учебного поведения и участия в расчетах вознаграждений и агрегации стратегий.
Ядро протокола включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реального тренировочного поведения".
INTELLECT-2: Выпуск первой проверяемой модели децентрализованного обучения
В мае 2025 года Prime Intellect выпустил INTELLECT-2, который является первой в мире моделью глубокого обучения, обученной с помощью асинхронных, не требующих доверия, Децентрализация узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с использованием более 100 GPU гетерогенных узлов, расположенных на трех континентах, с полностью асинхронной архитектурой, время обучения составило более 400 часов, что продемонстрировало жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и первой системной реализацией парадигмы "обучение как консенсус", предложенной Prime Intellect. INTELLECT-2 интегрирует основные протоколы, такие как асинхронная структура обучения PRIME-RL(, верификация обучающих действий TOPLOC) и асинхронная агрегирование весов SHARDCAST(, что знаменует собой первое достижение открытости, верифицируемости и замкнутого экономического стимула в процессе обучения в децентрализованной сети.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
7 Лайков
Награда
7
6
Репост
Поделиться
комментарий
0/400
MechanicalMartel
· 07-13 04:11
Децентрализация является核心 AI
Посмотреть ОригиналОтветить0
HodlKumamon
· 07-12 09:52
Данные новички в действии
Посмотреть ОригиналОтветить0
FlashLoanLarry
· 07-12 04:24
Код — это король.
Посмотреть ОригиналОтветить0
blockBoy
· 07-10 20:29
Эра вычислительной мощности пришла
Посмотреть ОригиналОтветить0
DeadTrades_Walking
· 07-10 20:25
Карточка тренировки удерживает вычислительную мощность
Крипто AI революция: исследование Децентрализация обучения на переднем крае и вызовов
Святой Грааль Crypto AI: Передовые исследования децентрализованного обучения
В полной цепочке ценностей ИИ обучение модели является этапом с наибольшим потреблением ресурсов и самым высоким технологическим порогом, который напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных вложений в масштабные вычисления, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основной темой данного текста.
Централизованное обучение является наиболее распространенным традиционным способом, при котором единая организация выполняет весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластером до всех компонентов обучающего фреймворка, которые координируются единой системой управления. Эта глубокая совместная архитектура позволяет достичь оптимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает ее очень подходящей для обучения масштабных моделей, таких как GPT и Gemini, имея преимущества высокой эффективности и управляемых ресурсов. Однако одновременно существуют проблемы монополии на данные, барьеров для ресурсов, потребления энергии и рисков единой точки.
Распределённое обучение является основным способом обучения больших моделей на сегодняшний день, его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одной машине. Хотя физически оно обладает признаками "Децентрализации", в целом всё ещё контролируется централизованными организациями для координации и синхронизации, часто работает в среде высокоскоростных локальных сетей, используя технологию высокоскоростной межсоединительной шины NVLink для единого координирования подзадач главным узлом. Основные методы включают:
Распределённое обучение — это комбинация "центрированного управления + распределённого исполнения", аналогично тому, как один и тот же руководитель дистанционно управляет сотрудниками нескольких "офисов", чтобы совместно выполнять задачи. В настоящее время почти все основные большие модели обучаются именно этим способом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая особенность заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием криптоин incentives для обеспечения добросовестности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместного обучения модели, но "действительно осуществимая массовая децентрализация тренировки" все еще представляет собой системную инженерную задачу, затрагивающую архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию моделей и другие аспекты, но возможность "совместной эффективности + стимулов для честности + правильных результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенными и Децентрализация, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, что делает его подходящим для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и возможностями локальной кооперации, одновременно имея преимущества распределенных данных при Децентрализация, но по-прежнему зависит от надежной координирующей стороны и не обладает полностью открытыми и антицензурными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, где задачи обучения, структуры доверия и коммуникационные механизмы относительно мягкие, что делает его более подходящим для переходной архитектуры развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или значительных трудностей в сотрудничестве, она естественным образом не подходит для эффективного выполнения на гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, связанные с конфиденциальностью данных и ограничениями суверенитета, ограничены юридическими и этическими нормами, что не позволяет открыто делиться; а задачи, которые не имеют основы для совместного стимулирования, лишены внешнего мотива для участия. Эти границы совместно составляют текущие реальные ограничения Децентрализованного обучения.
Но это не означает, что Децентрализация тренировки является ложным утверждением. На самом деле, в задачах с легкой структурой, легкой параллельной обработкой и возможностью стимуляции, Децентрализация тренировки демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи пост-тренировки по выравниванию поведения (, такие как RLHF, DPO ), обучение и аннотирование данных с краудсорсингом, обучение небольших базовых моделей с контролем ресурсов, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и допускают гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировки классических проектов
На данный момент в области Децентрализация обучения и федеративного обучения, представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в проектировании системной архитектуры и алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как у Gensyn и Flock.io пути реализации относительно ясны, уже можно увидеть предварительные результаты инженерной реализации.
Prime Intellect: проверяемые траектории тренировки для сетей сотрудничества в усиленном обучении
Prime Intellect стремится создать сеть тренировки ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать заслуженные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему тренировки ИИ с полной верификацией, открытостью и механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Структура стеков протокола Prime Intellect и ценность ключевых модулей
Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач для асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является рамками моделирования и выполнения задач, разработанными Prime Intellect для децентрализованных обучающих сценариев, специально предназначенными для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, позволяя каждому обучающему узлу независимо завершать цикл задач локально и сотрудничать через стандартизированные интерфейсы с механизмами проверки и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL более подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения многозадач и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения тренировки
TOPLOC — это核心机制可验证性, предложенная Prime Intellect, используемая для определения того, завершил ли узел действительно эффективное обучение стратегии на основе данных наблюдений. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальную согласованность между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он преобразует траекторию поведения в процессе обучения в проверяемый объект, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия, предоставляя жизнеспособный путь для построения可审计、可激励的 Децентрализация协作训练网络.
#SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным пропускным каналом и изменяющимся состоянием узлов. Он сочетает в себе механизм gossip-распространения и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях асинхронного состояния, достигая прогрессивной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса весов и непрерывной итерации обучения.
#OpenDiLoCo:Разреженная асинхронная коммуникационная рамка
OpenDiLoCo - это коммуникационный оптимизационный фреймворк, разработанный командой Prime Intellect на основе идеи DiLoCo, предложенной DeepMind, который реализован независимо и открыт для использования. Он специально разработан для решения таких проблем, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются в процессе децентрализованного обучения. Его архитектура основана на параллелизме данных и избегает высоких затрат на коммуникацию, связанных с глобальной синхронизацией, путем построения разреженных топологических структур, таких как Ring, Expander и Small-World, полагаясь только на локальных соседей для выполнения совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в обучающих задачах, значительно повышая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения сети децентрализованного обучения.
#PCCL:Библиотека совместной коммуникации
PCCL — это легковесная коммуникационная библиотека, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных коммуникационных библиотек на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, что делает его основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает устойчивость к пропускной способности сети для обучения и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Prime Intellect 激励 сеть и распределение ролей
Prime Intellect построил сеть обучения, не требующую разрешения, с возможностью проверки и экономическими стимулами, позволяющую любому участвовать в заданиях и получать награды на основе реального вклада. Протокол работает на основе трех типов основных ролей:
Ядро протокола включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реального тренировочного поведения".
INTELLECT-2: Выпуск первой проверяемой модели децентрализованного обучения
В мае 2025 года Prime Intellect выпустил INTELLECT-2, который является первой в мире моделью глубокого обучения, обученной с помощью асинхронных, не требующих доверия, Децентрализация узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с использованием более 100 GPU гетерогенных узлов, расположенных на трех континентах, с полностью асинхронной архитектурой, время обучения составило более 400 часов, что продемонстрировало жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и первой системной реализацией парадигмы "обучение как консенсус", предложенной Prime Intellect. INTELLECT-2 интегрирует основные протоколы, такие как асинхронная структура обучения PRIME-RL(, верификация обучающих действий TOPLOC) и асинхронная агрегирование весов SHARDCAST(, что знаменует собой первое достижение открытости, верифицируемости и замкнутого экономического стимула в процессе обучения в децентрализованной сети.
В отношении производительности, INTELLECT-2