IT之家2月27日消息,DeepSeek“開源周”的進(jìn)度今日來到 4/5,此次開源了優(yōu)化并行策略的項目。
官方介紹具體項目介紹如下:
DualPipe - 一種用于 V3 / R1 訓(xùn)練中計算-通信重疊的雙向管道并行算法。
“雙管道(DualPipe)”是在《深度搜索-V3 技術(shù)報告》中引入的一種創(chuàng)新的雙向流水線并行算法。它實現(xiàn)了正向和反向計算-通信階段的完全重疊,同時也減少了流水線氣泡。
EPLB - 一種用于 V3 / R1 的專家并行負(fù)載平衡器。
在使用專家并行(EP)時,不同的專家被分配到不同的 GPU。由于不同專家的負(fù)載可能因當(dāng)前工作負(fù)載而異,因此保持不同 GPU 的負(fù)載平衡非常重要。正如在 DeepSeek-V3 論文中所述,我們采用冗余專家策略,復(fù)制高負(fù)載的專家。然后,我們通過啟發(fā)式方法將復(fù)制的專家分配到 GPU 上,以確保不同 GPU 之間的負(fù)載平衡。此外,由于 DeepSeek-V3 中使用了分組受限的專家路由,我們還盡可能嘗試將同一組的專家放置在同一節(jié)點上,以減少節(jié)點間的數(shù)據(jù)流量。為了便于復(fù)現(xiàn)和部署,我們在 eplb.py 中開源了我們部署的 EP 負(fù)載均衡算法。該算法根據(jù)估計的專家負(fù)載計算平衡的專家復(fù)制和放置計劃。請注意,預(yù)測專家負(fù)載的確切方法不在此存儲庫的范圍內(nèi)。一種常見的方法是使用歷史統(tǒng)計數(shù)據(jù)的移動平均值。
分析 V3 / R1 中的計算-通信重疊。
在這里,我們公開分享來自我們的訓(xùn)練和推理框架的分析數(shù)據(jù),以幫助社區(qū)更好地理解通信-計算重疊策略和底層實現(xiàn)細(xì)節(jié)。
休閑益智
160MB
動作格斗
67MB
角色扮演
119.85MB
飛行射擊
117.92MB
卡牌策略
71.21MB
找物解謎
44MB
游戲輔助 | 4.5GB
2024-04-24
動作格斗 | 20GB
2024-04-23
角色扮演 | 3.2GB
2024-04-22
角色扮演 | 500MB
休閑益智 | 30.17MB
2024-04-18
生活服務(wù) | 144.35MB
學(xué)習(xí)教育 | 24.26MB
2023-11-08
系統(tǒng)工具 | 6.78MB
游戲輔助 | 4.5GB
動作格斗 | 20GB
角色扮演 | 372.08MB
休閑益智 | 35.93MB
體育競技 | 88.6MB
角色扮演 | 221MB
飛行射擊 | 1170MB
動作格斗 | 484MB
角色扮演 | 500MB
聯(lián)系:81537344@qq.com
CopyRight?2023 yiwangvip.com All Right Reserved 京ICP備12030808號-4
進(jìn)度條4/5!DeepSeek“開源周”放出雙響炮
IT之家2月27日消息,DeepSeek“開源周”的進(jìn)度今日來到 4/5,此次開源了優(yōu)化并行策略的項目。
官方介紹具體項目介紹如下:
DualPipe - 一種用于 V3 / R1 訓(xùn)練中計算-通信重疊的雙向管道并行算法。
“雙管道(DualPipe)”是在《深度搜索-V3 技術(shù)報告》中引入的一種創(chuàng)新的雙向流水線并行算法。它實現(xiàn)了正向和反向計算-通信階段的完全重疊,同時也減少了流水線氣泡。
EPLB - 一種用于 V3 / R1 的專家并行負(fù)載平衡器。
在使用專家并行(EP)時,不同的專家被分配到不同的 GPU。由于不同專家的負(fù)載可能因當(dāng)前工作負(fù)載而異,因此保持不同 GPU 的負(fù)載平衡非常重要。正如在 DeepSeek-V3 論文中所述,我們采用冗余專家策略,復(fù)制高負(fù)載的專家。然后,我們通過啟發(fā)式方法將復(fù)制的專家分配到 GPU 上,以確保不同 GPU 之間的負(fù)載平衡。此外,由于 DeepSeek-V3 中使用了分組受限的專家路由,我們還盡可能嘗試將同一組的專家放置在同一節(jié)點上,以減少節(jié)點間的數(shù)據(jù)流量。為了便于復(fù)現(xiàn)和部署,我們在 eplb.py 中開源了我們部署的 EP 負(fù)載均衡算法。該算法根據(jù)估計的專家負(fù)載計算平衡的專家復(fù)制和放置計劃。請注意,預(yù)測專家負(fù)載的確切方法不在此存儲庫的范圍內(nèi)。一種常見的方法是使用歷史統(tǒng)計數(shù)據(jù)的移動平均值。
分析 V3 / R1 中的計算-通信重疊。
在這里,我們公開分享來自我們的訓(xùn)練和推理框架的分析數(shù)據(jù),以幫助社區(qū)更好地理解通信-計算重疊策略和底層實現(xiàn)細(xì)節(jié)。
休閑益智
160MB
動作格斗
67MB
角色扮演
119.85MB
飛行射擊
117.92MB
卡牌策略
71.21MB
找物解謎
44MB
游戲輔助 | 4.5GB
2024-04-24
動作格斗 | 20GB
2024-04-23
角色扮演 | 3.2GB
2024-04-22
角色扮演 | 500MB
2024-04-22
休閑益智 | 30.17MB
2024-04-18
生活服務(wù) | 144.35MB
2024-04-18
生活服務(wù) | 144.35MB
2024-04-18
生活服務(wù) | 144.35MB
2024-04-18
學(xué)習(xí)教育 | 24.26MB
2023-11-08
系統(tǒng)工具 | 6.78MB
2023-11-08
游戲輔助 | 4.5GB
動作格斗 | 20GB
角色扮演 | 372.08MB
休閑益智 | 35.93MB
體育競技 | 88.6MB
角色扮演 | 221MB
飛行射擊 | 1170MB
動作格斗 | 484MB
角色扮演 | 500MB