2月27日消息，今天是DeepSeek開源周第四日，不同于前三日早早就發(fā)出的開源項(xiàng)目,。

今天DeepSeek公布開源項(xiàng)目，比平日稍微晚些,，讓關(guān)注者們等的稍微有點(diǎn)著急，包括小編在內(nèi)。

但是等待的結(jié)果總是值得的，這不今天公布了兩項(xiàng)開源內(nèi)容,。話不多說(shuō)，轉(zhuǎn)入正題,。

今天DeepSeek發(fā)布了DualPipe（雙向管道并行算法）和EPLB（專家并行負(fù)載均衡器）,。

據(jù)DeepSeek介紹，DualPipe是一項(xiàng)在DeepSeek-V3技術(shù)報(bào)告中引入的雙向管道等值算法,，它實(shí)現(xiàn)了向后和向后計(jì)算通信階段的雙向重疊，顯著減少訓(xùn)練空閑時(shí)間,。

同時(shí),，流水線氣泡優(yōu)化這一創(chuàng)新調(diào)度策略，降低傳統(tǒng)管道并行中的“氣泡”問(wèn)題,，有效提升硬件資源利用率,。在GitHub上，目前該算法已經(jīng)獲得544個(gè)Star收藏。

另外,，在此談一談EPLB（專家并行負(fù)載均衡器）,。

EPLB（專家并行負(fù)載均衡器）具有動(dòng)態(tài)負(fù)載均衡、分層與全局平衡結(jié)合,、流量?jī)?yōu)化的特點(diǎn),。

具體來(lái)看，動(dòng)態(tài)負(fù)載均衡是基于混合專家（MoE）架構(gòu),，通過(guò)冗余專家策略復(fù)制高負(fù)載專家,，并采用啟發(fā)式分配算法優(yōu)化GPU間的負(fù)載均衡；

另外在分層與全局平衡結(jié)合方面,，它既支持單個(gè)節(jié)點(diǎn)的分層負(fù)載管理,，也實(shí)現(xiàn)跨節(jié)點(diǎn)的全局負(fù)載平衡，減少GPU閑置,。

此外在流量?jī)?yōu)化上,，可在平衡負(fù)載的同時(shí)，通過(guò)調(diào)整專家分布降低節(jié)點(diǎn)間通信數(shù)據(jù)量,，提升整體訓(xùn)練效率,。