基于Spark分布式框架的海量星表數(shù)據(jù)時序重構方法研究

摘要： 時序重構是時域天文學中的一個重要數(shù)據(jù)處理步驟，也是擬合光變曲線、開展時域分析研究的基礎。Hadoop、Spark這類MapReduce分布式模型在執(zhí)行過程中分布式集群節(jié)點間的任務比較獨立，需要跨節(jié)點的數(shù)據(jù)傳輸量較少。提出了非阻塞異步執(zhí)行流程，每個分布式進程完全針對獨立天區(qū)的數(shù)據(jù)進行連續(xù)處理，而分塊邊緣的新增天體導致的其他節(jié)點的新增證認任務延時批量追加，并且會根據(jù)各進程間的進度不...