多模態(tài)醫(yī)療數(shù)據(jù)中海量小文件存儲(chǔ)優(yōu)化方法

摘要： Hadoop分布式文件系統(tǒng)(HDFS)通常用于大文件的存儲(chǔ)和管理,當(dāng)進(jìn)行海量小文件的存儲(chǔ)和計(jì)算時(shí),會(huì)消耗大量的NameNode內(nèi)存和訪問時(shí)間,成為制約HDFS性能的一個(gè)重要因素.針對(duì)多模態(tài)醫(yī)療數(shù)據(jù)中海量小文件問題,提出一種基于雙層哈希編碼和HBase的海量小文件存儲(chǔ)優(yōu)化方法.在小文件合并時(shí),使用可擴(kuò)展哈希函數(shù)構(gòu)建索引文件存儲(chǔ)桶,使索引文件可以根據(jù)需要進(jìn)行動(dòng)態(tài)擴(kuò)展,實(shí)現(xiàn)文件追加功...