基于分布式數(shù)據(jù)集的并行計算框架內(nèi)存優(yōu)化方法

摘要： 隨著科學(xué)計算和人工智能技術(shù)的快速發(fā)展，分布式環(huán)境下的并行計算已成為解決大規(guī)模理論計算和數(shù)據(jù)處理問題的重要手段。內(nèi)存容量的提高以及迭代算法的廣泛應(yīng)用，使得以Spark為代表的內(nèi)存計算技術(shù)愈發(fā)成熟。但是，當(dāng)前主流的分布式內(nèi)存模型和計算框架難以兼顧易用性和計算性能，并且在數(shù)據(jù)格式定義、內(nèi)存分配、內(nèi)存使用效率等方面存在不足。提出一種基于分布式數(shù)據(jù)集的并行計算方法，分別從模型理論和系統(tǒng)開...