Crypto AI'nin Kutsal Kâsesi: Merkeziyetsizlik Eğitiminde Sınırları Zorlamak

AI tam değer zincirinde, model eğitimi en fazla kaynak tüketen ve en yüksek teknik engelleri olan aşamadır ve doğrudan modelin yetenek sınırını ve pratik uygulama etkisini belirler. Akıl yürütme aşamasının hafif çağrılarıyla karşılaştırıldığında, eğitim süreci sürekli olarak büyük ölçekli hesaplama gücü yatırımı, karmaşık veri işleme süreçleri ve yüksek yoğunluklu optimizasyon algoritması desteği gerektirir; bu, AI sisteminin inşasının gerçek "ağır sanayi"sidir. Mimari paradigmalar açısından, eğitim yöntemleri dört kategoriye ayrılabilir: merkezileşmiş eğitim, dağıtık eğitim, federatif öğrenme ve bu makalede odaklanılan Merkeziyetsizlik eğitimi.

Merkeziyetsizleşmiş eğitim, tek bir kuruluşun yerel yüksek performans kümeleri içinde tüm eğitim sürecini tamamladığı en yaygın geleneksel yöntemdir; donanım, alt yazılım, küme planlama sistemi ve eğitim çerçevesinin tüm bileşenleri, tek bir kontrol sistemi tarafından koordine edilir. Bu derin iş birliğine dayalı mimari, bellek paylaşımı, gradyan senkronizasyonu ve hata toleransı mekanizmalarının verimliliğini en üst düzeye çıkarır, GPT, Gemini gibi büyük ölçekli modellerin eğitimi için çok uygundur, yüksek verimlilik ve kaynak kontrolü avantajlarına sahiptir, ancak aynı zamanda veri tekelciliği, kaynak bariyerleri, enerji tüketimi ve tek nokta riski gibi sorunlar da barındırmaktadır.

Dağıtık eğitim, günümüz büyük model eğitiminde ana akım bir yöntemdir. Temelinde, model eğitim görevlerinin parçalanarak birden fazla makineye dağıtılması ve iş birliği içinde yürütülmesi yer alır; bu sayede tek bir makinenin hesaplama ve depolama darboğazları aşılmaktadır. Fiziksel olarak "dağıtık" özelliklere sahip olmasına rağmen, genel olarak merkezi bir kuruluş tarafından kontrol edilmekte ve senkronize edilmektedir; genellikle yüksek hızlı yerel ağ ortamında çalışmakta ve NVLink yüksek hızlı bağlantı teknolojisi ile ana düğüm, çeşitli alt görevleri koordine etmektedir. Ana akım yöntemler şunları içermektedir:

• Veri paralelliği: Her bir düğüm farklı veri parametrelerini eğitir, model ağırlıklarının eşleşmesi gerekir.
• Model paralelliği: Modelin farklı kısımlarını farklı düğümlere yerleştirerek güçlü ölçeklenebilirlik sağlamak
• Boru hattı paralelliği: Aşamalı seri yürütme, verimliliği artırır.
• Tensör paralelliği: Matris hesaplamalarını ince bir şekilde bölmek, paralel granülasyonu artırmak

Dağıtık eğitim, "merkezi kontrol + dağıtık yürütme" kombinasyonudur; aynı patronun uzaktan birden fazla "ofis" çalışanını görevi tamamlamak için işbirliği yapmaya yönlendirmesiyle benzerlik gösterir. Şu anda neredeyse tüm ana akım büyük modeller bu yöntemle eğitilmektedir.

Merkeziyetsizlik eğitimi, daha açık ve sansüre karşı dirençli bir geleceği temsil eder. Temel özellikleri şunlardır: Birbirine güvenmeyen birçok düğüm, merkezi bir koordinatör olmadan eğitim görevlerini işbirliği içinde tamamlar, genellikle protokoller aracılığıyla görev dağıtımı ve işbirliği sağlanır ve katkının doğruluğunu sağlamak için kripto teşvik mekanizmalarından yararlanılır. Bu modelin karşılaştığı başlıca zorluklar şunlardır:

• Cihaz heterojenliği ve parçalama zorluğu: Heterojen cihazların koordinasyonu zor, görev parçalama verimliliği düşük
• İletişim verimliliği darboğazı: Ağ iletişimi istikrarsız, gradyan senkronizasyonu darboğazı belirgin
• Güvenilir yürütme eksikliği: Güvenilir yürütme ortamının olmaması, düğümlerin gerçekten hesaplamaya katılıp katılmadığını doğrulamayı zorlaştırıyor.
• Tek bir koordinasyon eksikliği: Merkezi bir kontrolör yok, görev dağıtımı ve istisnai geri alma mekanizması karmaşık

Merkeziyetsizlik eğitimi, global bir gönüllü grubunun, her birinin hesaplama gücünü katkıda bulunarak model eğitimi gerçekleştirmesi olarak anlaşılabilir, ancak "gerçekten uygulanabilir büyük ölçekli merkeziyetsizlik eğitimi" hala sistematik bir mühendislik zorluğu olup, sistem mimarisi, iletişim protokolleri, şifre güvenliği, ekonomik mekanizmalar, model doğrulama gibi birçok katmanı içermektedir. Ancak "etkili işbirliği + dürüstlük teşviki + doğru sonuç" sağlanıp sağlanamayacağı hala erken prototip keşif aşamasındadır.

Federated learning, merkeziyetsizlik ile dağıtılmışlık arasında bir geçiş biçimi olarak, verilerin yerel olarak saklanmasına ve model parametrelerinin merkezi olarak toplanmasına vurgu yapar, gizlilik uyumuna önem veren senaryolar için uygundur. Federated learning, dağıtılmış eğitim mühendislik yapısına ve yerel iş birliği yeteneğine sahipken, aynı zamanda merkeziyetsiz eğitimdeki veri dağıtım avantajlarını da taşır; ancak yine de güvenilir bir koordinatöre bağımlıdır ve tamamen açık veya sansüre dayanıklı özelliklere sahip değildir. Gizlilik uyumu senaryolarında "kontrollü merkeziyetsizlik" çözümü olarak görülebilir, eğitim görevleri, güven yapısı ve iletişim mekanizması açısından nispeten ılımandır ve sanayi alanında geçici dağıtım mimarisi olarak daha uygundur.

Merkeziyetsizlik eğitiminin sınırları, fırsatları ve gerçek yolları

Eğitim paradigması açısından, merkeziyetsiz eğitim her görev türü için uygun değildir. Bazı senaryolarda, görev yapısının karmaşık olması, kaynak gereksinimlerinin çok yüksek olması veya iş birliği zorluğu nedeniyle, doğal olarak heterojen, güven unsuru taşımayan düğümler arasında verimli bir şekilde tamamlanması zordur. Örneğin, büyük model eğitimi genellikle yüksek bellek, düşük gecikme ve yüksek bant genişliği gerektirir, bu da açık ağda etkili bir şekilde bölünmesi ve senkronize edilmesi zor hale getirir; veri gizliliği ve egemenlik kısıtlamaları olan görevler, yasal uyum ve etik kısıtlamalar nedeniyle açık paylaşımda bulunamaz; iş birliği teşviklerine dayanmayan görevler ise dış katılım motivasyonundan yoksundur. Bu sınırlamalar, mevcut merkeziyetsiz eğitimin gerçek kısıtlamalarını oluşturmaktadır.

Ancak bu, merkeziyetsizlik eğitiminin sahte bir kavram olduğu anlamına gelmez. Aslında, yapı olarak hafif, paralel işlenmesi kolay ve teşvik edici görev türlerinde merkeziyetsizlik eğitimi belirgin bir uygulama potansiyeli göstermektedir. Bunlara, ancak bunlarla sınırlı olmamak üzere: LoRA ince ayarı, davranış hizalama sonrası eğitim görevleri, veri toplama eğitim ve etiketleme görevleri, kaynak kontrolüne sahip küçük temel model eğitimi ve kenar cihazların katıldığı işbirlikçi eğitim senaryoları dahildir. Bu görevler genellikle yüksek paralellik, düşük bağlılık ve heterojen hesaplama gücüne tolerans özelliklerine sahiptir ve P2P ağlar, Swarm protokolü, dağıtık optimizasyon araçları gibi yollarla işbirlikçi eğitim için oldukça uygundur.

Merkeziyetsizlik eğitim klasik proje analizi

Şu anda merkeziyetsizlik eğitim ve federatif öğrenme öncülüğünde, temsil niteliğinde blok zinciri projeleri arasında Prime Intellect, Pluralis.ai, Gensyn, Nous Research ve Flock.io yer almaktadır. Teknik yenilikçilik ve mühendislik gerçekleştirme zorluğu açısından, Prime Intellect, Nous Research ve Pluralis.ai sistem mimarisi ve algoritma tasarımı üzerinde daha fazla özgün keşif önermiştir ve mevcut teorik araştırmanın öncü yönlerini temsil etmektedir; Gensyn ve Flock.io'nun gerçekleştirme yolları ise nispeten net olup, ilk mühendislik ilerlemeleri görülebilmektedir. Bu makalede, bu beş projenin arkasındaki temel teknolojiler ve mühendislik yapıları sırayla analiz edilecek ve merkeziyetsiz AI eğitim sistemindeki farklılıkları ve tamamlayıcı ilişkileri daha fazla tartışılacaktır.

Prime Intellect: Eğitim izleri doğrulanabilir güçlendirilmiş öğrenme işbirlikçi ağ öncüsü

Prime Intellect, güvene ihtiyaç duymayan bir AI eğitim ağı inşa etmeye kendini adamıştır; böylece herkes eğitim sürecine katılabilir ve hesaplama katkılarının güvenilir ödüllerini alabilir. Prime Intellect, PRIME-RL + TOPLOC + SHARDCAST üç ana modülü aracılığıyla, doğrulanabilirlik, açıklık ve teşvik mekanizması açısından tam bir AI merkeziyetsiz eğitim sistemi inşa etmeyi hedeflemektedir.

PRIME-RL, Prime Intellect tarafından Merkeziyetsizlik eğitim senaryoları için özelleştirilmiş bir görev modelleme ve yürütme çerçevesidir, heterojen ağlar ve asenkron katılım için özel olarak tasarlanmıştır. Güçlendirme öğrenimini öncelikli uyum nesnesi olarak kullanmakta, eğitim, çıkarım ve ağırlık yükleme süreçlerini yapısal olarak ayrıştırmakta, böylece her eğitim düğümü yerel olarak bağımsız bir görev döngüsü tamamlayabilmekte ve standart arayüzler aracılığıyla doğrulama ve birleştirme mekanizmalarıyla işbirliği yapabilmektedir. Geleneksel denetimli öğrenme süreçleriyle karşılaştırıldığında, PRIME-RL merkezi bir planlama olmadan esnek eğitim gerçekleştirmek için daha uygundur, bu hem sistem karmaşıklığını azaltmakta hem de çoklu görevlerin paralel olarak desteklenmesi ve strateji evrimi için bir temel oluşturmaktadır.

TOPLOC, Prime Intellect tarafından önerilen doğrulanabilirlik eğitim çekirdek mekanizmasıdır ve bir düğümün gerçekten gözlem verilerine dayanarak etkili bir strateji öğrenip öğrenmediğini belirlemek için kullanılır. ZKML gibi ağır çözümlerden farklı olarak, TOPLOC tam model yeniden hesaplamasına dayanmaz, bunun yerine "gözlem dizisi↔strateji güncelleme" arasındaki yerel tutarlılık izlerini analiz ederek hafif yapı doğrulamasını gerçekleştirir. Eğitim sürecindeki davranış izlerini doğrulanabilir nesnelere dönüştürmeyi ilk kez başarmaktadır, bu, güvenilmeyen eğitim ödül dağıtımını gerçekleştirmek için kritik bir yenilik olup, denetlenebilir ve teşvik edici bir merkeziyetsizlik işbirlikçi eğitim ağı inşa etmek için uygulanabilir bir yol sunmaktadır.

SHARDCAST, Prime Intellect tarafından tasarlanan ağırlık yayılımı ve toplama protokolüdür, asenkron, bant genişliği kısıtlı ve düğüm durumu değişken olan gerçek ağ ortamları için optimize edilmiştir. Gossip yayılım mekanizması ile yerel senkronizasyon stratejilerini birleştirir, birden fazla düğümün senkronize olmayan durumlarda sürekli kısmi güncellemeler sunmasına izin verir, ağırlıkların kademeli olarak yakınsamasını ve çoklu sürüm evrimini gerçekleştirir. Merkezi veya senkronize AllReduce yöntemlerine kıyasla, SHARDCAST merkeziyetsizlikle eğitimde ölçeklenebilirliği ve hata toleransını önemli ölçüde artırır, kararlı ağırlık konsensüsü ve sürekli eğitim iterasyonu inşa etmek için temel bir altyapıdır.

OpenDiLoCo, Prime Intellect ekibi tarafından DeepMind'ın önerdiği DiLoCo anlayışına dayalı olarak bağımsız bir şekilde uygulanmış ve açık kaynak olarak sunulmuş bir iletişim optimizasyon çerçevesidir. Merkeziyetsizlik eğitiminde yaygın olarak karşılaşılan bant genişliği kısıtlamaları, cihaz heterojenliği ve düğüm istikrarsızlığı gibi zorluklara özel olarak tasarlanmıştır. Mimari, veri paralelliğine dayanmakta ve Ring, Expander, Small-World gibi seyrek topoloji yapıları oluşturarak, küresel senkronizasyonun yüksek iletişim maliyetlerinden kaçınmakta, yalnızca yerel komşu düğümlere dayanarak model işbirliği eğitimini tamamlamaktadır. Asenkron güncellemeler ve kesinti tolerans mekanizması ile birleştirildiğinde, OpenDiLoCo, tüketici sınıfı GPU'lar ve kenar cihazlarının eğitim görevlerine istikrarlı bir şekilde katılmasını sağlamakta, küresel işbirliği eğitimine katılımı önemli ölçüde artırmaktadır. Bu, merkeziyetsiz eğitim ağının temel iletişim altyapılarından biridir.

PCCL, merkeziyetsiz AI eğitim ortamı için Prime Intellect tarafından özel olarak tasarlanmış hafif bir iletişim kütüphanesidir; geleneksel iletişim kütüphanelerinin heterojen cihazlar ve düşük bant genişliği ağlarındaki uyum darboğazlarını çözmeyi hedeflemektedir. PCCL, seyrek topolojiyi, gradyan sıkıştırmayı, düşük hassasiyet senkronizasyonunu ve kesintiden kurtarma özelliklerini destekler, tüketici sınıfı GPU'lar ve istikrarsız düğümlerde çalışabilir; OpenDiLoCo protokolünün asenkron iletişim yeteneklerini destekleyen alt bileşendir. Eğitim ağının bant genişliği toleransını ve cihaz uyumluluğunu önemli ölçüde artırarak, gerçekten açık ve güvene ihtiyaç duymayan işbirlikçi eğitim ağlarının "son bir mil" iletişim altyapısını sağlamaktadır.

Prime Intellect, herhangi birinin görevlere katılabilmesini ve gerçek katkılara dayalı ödüller alabilmesini sağlayan, izin gerektirmeyen, doğrulanabilir ve ekonomik teşvik mekanizması içeren bir eğitim ağı inşa etti. Protokol, üç temel role dayalı olarak çalışmaktadır:

• Görev başlatıcısı: Eğitim ortamını, başlangıç modelini, ödül fonksiyonunu ve doğrulama standartlarını tanımlama
• Eğitim düğümü: Yerel eğitim yürütme, ağırlık güncellemelerini gönderme ve gözlem izini
• Doğrulama Düğümü: Eğitim davranışının gerçekliğini doğrulamak için TOPLOC mekanizmasını kullanır ve ödül hesaplaması ile strateji birleştirmeye katılır.

Protokolün temel süreçleri, görev yayınlama, düğüm eğitimi, iz doğrulama, ağırlık birleştirme ve ödül dağıtımını içerir ve "gerçek eğitim davranışı" etrafında bir teşvik kapalı döngüsü oluşturur.

Prime Intellect, Mayıs 2025'te INTELLECT-2'yi piyasaya sürdü; bu, asenkron, güvene ihtiyaç duymayan Merkeziyetsizlik düğümleriyle iş birliği yaparak eğitilen dünyanın ilk güçlendirilmiş öğrenme büyük modelidir ve parametre ölçeği 32B'ye ulaşmaktadır. INTELLECT-2 modeli, üç kıtada yer alan 100'den fazla GPU heterojen düğüm tarafından iş birliği içinde eğitilmiştir, tamamen asenkron bir yapı kullanılmıştır, eğitim süresi 400 saatten fazla sürmüştür ve asenkron iş birliği ağının uygulanabilirliğini ve istikrarını göstermektedir. Bu model yalnızca bir performans atılımı değil, aynı zamanda Prime Intellect tarafından önerilen "eğitim, konsensüstür" paradigmasının ilk sistematik uygulanışıdır. INTELLECT-2, PRIME-RL, TOPLOC ve SHARDCAST gibi temel protokol modüllerini entegre ederek, Merkeziyetsizlik eğitim ağının eğitim sürecinin açılmasını, doğrulanabilirliğini ve ekonomik teşvik döngüsünü ilk kez gerçekleştirdiğini göstermektedir.

Performans açısından, INTELLECT-2 QwQ-32B üzerinde eğitilmiştir ve kod ve matematikte özel RL eğitimi yapılmıştır, bu da onu mevcut açık kaynaklı RL ince ayar modellerinin ön cephesine yerleştirmektedir. GPT-4 veya Gemini gibi modelleri henüz geçememiş olsa da, asıl anlamı şudur: bu, dünya genelinde tam eğitim süreci tekrarlanabilir, doğrulanabilir ve denetlenebilir olan ilk Merkeziyetsizlik model deneyidir. Prime Intellect sadece modeli açık kaynak yapmamış, daha da önemlisi eğitim sürecini kendisini - eğitim verileri, strateji güncelleme izleri, doğrulama süreçleri ve toplama mantığı şeffaf bir şekilde gözlemlenebilir hale getirmiştir, herkesin katılabileceği, güvenilir işbirliği yapabileceği ve kazançları paylaşabileceği bir merkeziyetsiz eğitim ağı prototipi oluşturmuştur.

Pluralis: Asenkron modelin paralel ve yapı sıkıştırma iş birliği eğitimi paradigması