填充性載荷：減少集群資源浪費(fèi)與深度學(xué)習(xí)訓(xùn)練成本的負(fù)載

摘要： 近年來，大模型在生物信息學(xué)、自然語言處理和計算機(jī)視覺等多個領(lǐng)域取得了顯著成功。然而，這些模型在訓(xùn)練和推理階段需要大量的計算資源，導(dǎo)致計算成本高昂。同時，計算集群中存在資源利用率低、任務(wù)調(diào)度難的供需失衡問題。為了解決這一問題，提出了填充性載荷的概念，即一種在計算集群中利用空閑資源進(jìn)行計算的負(fù)載。填充性載荷的計算資源隨時可能被其他負(fù)載搶占，但其使用的資源優(yōu)先級較低，資源成本也相對較...