الكأس المقدس للذكاء الاصطناعي في العملات الرقمية: الاستكشاف المتقدم للتدريب اللامركزي

في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعد تدريب النماذج هو المرحلة الأكثر استهلاكاً للموارد والأعلى من حيث الحواجز التقنية، حيث يحدد بشكل مباشر الحد الأقصى لقدرات النموذج وفاعلية تطبيقه الفعلي. بالمقارنة مع الاستدلال الخفيف في المرحلة، يتطلب عملية التدريب استثمارات مستمرة في قوة الحوسبة الكبيرة، وعمليات معالجة البيانات المعقدة، ودعم خوارزميات التحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من وجهة نظر نماذج الهيكلة، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، و التدريب اللامركزي الذي يتم مناقشته بشكل رئيسي في هذه المقالة.

يعد التدريب المركّز هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة داخل مجموعة عالية الأداء محليًا، بدءًا من الأجهزة، والبرمجيات الأساسية، ونظام جدولة المجموعات، وصولاً إلى جميع مكونات إطار التدريب، حيث يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. هذه البنية التحتية المتكاملة تعزز من كفاءة مشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل، مما يجعلها مثالية لتدريب النماذج الكبيرة مثل GPT وGemini، حيث تتمتع بمزايا الكفاءة العالية، والموارد القابلة للتحكم، ولكنها تواجه أيضًا مشاكل الاحتكار البيانات، والحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.

التدريب الموزع هو الطريقة السائدة حاليًا لتدريب النماذج الكبيرة، والجوهر هو تقسيم مهام تدريب النموذج ثم توزيعها على عدة آلات لتنفيذها بشكل متعاون، لتجاوز قيود الحساب والتخزين على الآلة الواحدة. على الرغم من أن لديها ميزات "اللامركزية" من الناحية الفيزيائية، إلا أن السيطرة والتنسيق والتزامن لا يزال يتم من قبل مؤسسة مركزية، وغالبًا ما تعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية ناقل الاتصال السريع NVLink، يتم تنسيق المهام الفرعية بشكل موحد من قبل العقدة الرئيسية. تشمل الطرق السائدة:

• البيانات المتوازية: كل عقدة تدرب معلمات بيانات مختلفة مع مشاركة الوزن النموذجي، تحتاج إلى مطابقة أوزان النموذج
• التوازي النموذجي: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية التوسع العالية
• تنفيذ تسلسلي على مراحل: تحسين معدل النقل
• التوازي التنسوري: تقسيم دقيق لحساب المصفوفات، وزيادة درجة التوازي

التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، يمكن تشبيهه بمدير واحد يقود عن بُعد تعاون عدة موظفين في "مكاتب" مختلفة لإنجاز المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا بهذه الطريقة.

تمثل التدريبات اللامركزية مساراً مستقبلياً أكثر انفتاحاً ومقاومة للرقابة. تتمثل السمات الأساسية في: العديد من العقد غير الموثوقة ( قد تكون حواسيب منزلية، أو وحدات معالجة الرسوميات السحابية، أو أجهزة الحافة ) التي تكمل مهام التدريب بالتعاون دون منسق مركزي، عادةً من خلال بروتوكول يدفع توزيع المهام والتعاون، ومن خلال آلية تحفيز مشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:

• صعوبة التوافق بين الأجهزة المختلفة وتقسيم المهام: صعوبة تنسيق الأجهزة المختلفة، وكفاءة تقسيم المهام منخفضة
• قيود كفاءة الاتصال: الاتصال الشبكي غير مستقر، وقيود تزامن التدرج واضحة
• نقص التنفيذ الموثوق: نقص في بيئة التنفيذ الموثوق، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك بالفعل في الحساب
• نقص التنسيق الموحد: لا يوجد جهاز توجيه مركزي، توزيع المهام، وآلية التراجع عن الاستثناءات معقدة

يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين حول العالم، يساهمون كل منهم بقوة الحوسبة لتدريب النموذج بشكل مشترك، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال تحديًا هندسيًا نظاميًا، يتضمن هيكل النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، لكن ما إذا كان يمكن "التعاون بشكل فعال + تحفيز الأمانة + الحصول على نتائج صحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكر.

تعلم الفيدرالية كأحد الأشكال الانتقالية بين التوزيع واللامركزية، يؤكد على الاحتفاظ بالبيانات محليًا وتجميع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية ( مثل الرعاية الصحية والمالية ). يتمتع تعلم الفيدرالية بهيكل هندسي للتدريب الموزع وقدرة التعاون المحلي، ويجمع أيضًا بين مزايا البيانات الموزعة في التدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في السيناريوهات التي تتطلب الامتثال للخصوصية، حيث يكون التدريب، وبنية الثقة، وآلية الاتصال جميعها معتدلة نسبيًا، مما يجعله أكثر ملاءمة كنموذج نشر انتقالي في الصناعة.

اللامركزية تدريب الحدود، الفرص والطرق الواقعية

من حيث نماذج التدريب، فإن التدريب اللامركزي لا ينطبق على جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، وارتفاع متطلبات الموارد، أو صعوبة التعاون، فإنه ليس مناسباً بطبيعته لإكماله بكفاءة بين عقد غير متجانسة وموثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، وزمن تأخير منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمه ومزامنته بفعالية في شبكة مفتوحة؛ كما أن المهام التي تتعلق بخصوصية البيانات وقيود السيادة مقيدة بالقوانين والامتثال والأخلاقيات، مما يمنع المشاركة المفتوحة؛ وأما المهام التي تفتقر إلى أساس تحفيز التعاون فهي تفتقر إلى الدافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.

لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، يُظهر التدريب اللامركزي آفاقًا واضحة للتطبيق في أنواع المهام الخفيفة الهيكل، سهلة التوازي، التي يمكن تحفيزها. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، مهام ما بعد التدريب المتعلقة بمحاذاة السلوك ( مثل RLHF، DPO )، مهام تدريب وتوسيم البيانات التي تعتمد على حشد البيانات، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، فضلاً عن سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. تتمتع هذه المهام عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، وتحمل القوة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال شبكات P2P، بروتوكولات Swarm، ومحسنات موزعة.

تحليل مشاريع التدريب الكلاسيكية اللامركزية

حاليا في مجال التدريب اللامركزي والتعلم الفيدرالي، تشمل المشاريع البارزة في مجال البلوكتشين بشكل رئيسي Prime Intellect و Pluralis.ai و Gensyn و Nous Research و Flock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect و Nous Research و Pluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، وتمثل الاتجاهات الحالية للبحث النظري؛ بينما تعتبر مسارات تنفيذ Gensyn و Flock.io واضحة نسبيا، وقد تم رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة، بالإضافة إلى مناقشة الاختلافات والعلاقات التكميلية بينها في نظام التدريب اللامركزي للذكاء الاصطناعي.

Prime Intellect: رائد الشبكات التعاونية المدعومة بالتعلم المعزز القابل للتحقق من مسارات التدريب

تسعى Prime Intellect إلى بناء شبكة تدريب AI غير معتمدة على الثقة، مما يسمح لأي شخص بالمشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect في بناء نظام تدريب AI اللامركزي القابل للتحقق والمفتوح والذي يحتوي على آلية تحفيزية كاملة من خلال ثلاثة وحدات رئيسية: PRIME-RL + TOPLOC + SHARDCAST.

01، هيكل بروتوكول Prime Intellect و القيمة الرئيسية للوحدات.

02، شرح آلية التدريب الرئيسية لـ Prime Intellect

PRIME-RL: بنية مهام التعلم المعزز غير المتزامن المنفصلة

PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص من Prime Intellect لسيناريوهات التدريب اللامركزية، والمصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يستخدم التعلم المعزز كهدف رئيسي للتكيف، ويفصل هيكليًا عملية التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام محليًا بشكل مستقل، والتعاون من خلال واجهات موحدة وآليات التحقق والتجميع. مقارنةً بعمليات التعلم الخاضعة للإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات غير مركزية، مما يقلل من تعقيد النظام ويضع الأساس لدعم المهام المتعددة المتوازية وتطور الاستراتيجيات.

TOPLOC: آلية تحقق سلوك التدريب خفيفة الوزن

TOPLOC(الملاحظة الموثوقة & التحقق من الموقع) هو آلية أساسية للتحقق من التدريب قدمتها Prime Intellect، تستخدم لتحديد ما إذا كان العقدة قد أكملت فعلاً تعلم السياسة بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل من خلال تحليل "تسلسل الملاحظة↔ تحديث السياسة" بين المسارات المحلية المتسقة، يكمل التحقق الهيكلي الخفيف. إنها المرة الأولى التي يتم فيها تحويل مسار السلوك خلال عملية التدريب إلى كائن يمكن التحقق منه، وهو الابتكار الرئيسي لتحقيق توزيع مكافآت التدريب دون الحاجة إلى الثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.

SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن

SHARDCAST هو بروتوكول انتشار وتجمع الوزن الذي صممه Prime Intellect، وهو مُحسن خصيصًا للبيئات الشبكية الحقيقية غير المتزامنة، والمحدودة النطاق، والتي تتغير فيها حالة العقد. إنه يجمع بين آلية انتشار gossip واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالات غير متزامنة، مما يحقق التقارب التدريجي للوزن والتطورات متعددة النسخ. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة، فإن SHARDCAST يعزز بشكل كبير من قابلية التوسع و القدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق وزن مستقر وتكرار تدريبات مستمرة.

OpenDiLoCo: إطار الاتصال المتناثر غير المتزامن

OpenDiLoCo هو إطار تحسين الاتصالات تم تنفيذه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo، مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل القيود المفروضة على النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي البياني، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب تكاليف الاتصالات العالية الناتجة عن التزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج التعاوني. من خلال دمج التحديثات غير المتزامنة وآلية تحمل الأخطاء، يتيح OpenDiLoCo لمعدات GPU الاستهلاكية والأجهزة الطرفية المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب العالمي، ويعتبر أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.

PCCL: مكتبة الاتصالات التعاونية

PCCL(Prime Collective Communication Library) هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل عنق الزجاجة في التكيف الذي تعاني منه مكتبات الاتصالات التقليدية في الأجهزة غير المتجانسة والشبكات ذات النطاق الترددي المنخفض. تدعم PCCL التوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة، واستعادة النقاط، ويمكن أن تعمل على وحدات معالجة الرسومات الاستهلاكية والعقد غير المستقرة، وهي المكون الأساسي الذي يدعم قدرة الاتصالات غير المتزامنة لبروتوكول OpenDiLoCo. لقد عززت بشكل كبير من قدرة تحمل النطاق الترددي للشبكات التدريبية وتوافق الأجهزة، مما يفتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية حقيقية مفتوحة وغير موثوقة.

03، شبكة Prime Intellect للتحفيز وتوزيع الأدوار

بني Prime Intellect شبكة تدريبية قابلة للتحقق، بدون إذن، مزودة بآلية تحفيز اقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول بناءً على ثلاث فئات من الأدوار الأساسية:

• مُطلق المهمة: تعريف بيئة التدريب، النموذج الأولي، دالة المكافأة ومعايير التحقق
• عقد تدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
• عقدة التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب والمشاركة في حساب المكافآت وتجميع الاستراتيجيات

تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، تحقق المسار، تجميع الأوزان ( SHARDCAST ) وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "السلوك التدريبي الحقيقي".

04، INTELLECT-2: إصدار أول نموذج تدريب قابل للتحقق اللامركزية

أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز تم تدريبه من خلال تعاون غير متزامن وغير موثوق به من العقد اللامركزية، مع حجم معاملات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU غير متجانسة منتشرة عبر ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، واستغرق التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يمثل هذا النموذج فقط اختراقًا في الأداء، ولكنه أيضًا نموذج "التدريب هو توافق" الذي اقترحته Prime Intellect.