Ray 的拆分混合平行運算提升多模態 AI 訓練 30%

艾瑞斯·科爾曼

2025年12月10日 01：06

Ray 創新的拆分混合平行技術顯著提升多模態 AI 訓練效率，吞吐量提升高達 1.37 倍，並克服記憶挑戰。

根據 Anyscale 的數據，Ray 在人工智慧訓練領域有重大進展，推出了一種分散的混合平行處理方法，將多模態 AI 模型的訓練速度提升了 30%。這項開發解決了訓練模型在處理多種資料類型（如文字、影像和音訊）時所面臨的複雜性與計算挑戰。

多模態 AI 訓練中的挑戰

多模態 AI 模型與傳統同質大型語言模型不同，由具有不同計算與記憶體需求的專門模組組成。視覺語言模型(VLMs)例如，將視覺編碼器與大型語言模型(LLM)整合。這種整合導致架構複雜度，尤其在處理高解析度影像與長序列時。傳統技術如張量平行處理與 DeepSpeed ZeRO3 常常不足，導致效率低下及潛在的記憶體錯誤。

雷的創新方法

Ray 的拆分混合平行利用其通用框架的彈性，使每個模組在多模態模型中都能量身打造平行化策略。透過利用 Ray 的演員導向架構，開發者能獨立分配資源，並針對每個模組的獨特需求進行優化。這能更有效率地協調複雜工作負載，正如 Qwen-VL 32B 模型所示。

基準與效能

在使用 Qwen-VL 32B 模型進行的測試中，Ray 的方法顯示其吞吐量比傳統方法提升了高達 1.37 倍。該策略結合了視覺編碼器的序列平行性與大型語言模型的張量平行性，有效管理不同模組間的記憶體與計算需求。此方法不僅提升速度，還能訓練長達 65,000 個標記的序列，超越 DeepSpeed ZeRO3 在 16,000 個標記時遇到記憶體問題的能力。

未來展望

Ray 分解混合平行技術在提升 AI 訓練效率上的成功，為其應用於更大型 GPU 叢集與多元硬體配置鋪路。其適應多種多模態架構的能力，凸顯了其在人工智慧開發中更廣泛應用的潛力。

對於有興趣探索這種創新方法的人，Ray 的實作可在他們的 GitHub 倉庫中進行實驗與回饋。

圖片來源：Shutterstock