數據湖或hub的概念最初是由大數據廠商提出的,表面上看,數據都是承載在基于可向外擴展的HDFS廉價存儲硬件之上的。但數據量越大,越需要各種不同種類的存儲。最終,所有的企業(yè)數據都可以被認為是大數據,但并不是所有的企業(yè)數據都是適合存放在廉價的HDFS集群之上的。
簡介
數據湖或hub的概念最初是由大數據廠商提出的,表面上看,數據都是承載在基于可向外擴展的HDFS廉價存儲硬件之上的。但數據量越大,越需要各種不同種類的存儲。最終,所有的企業(yè)數據都可以被認為是大數據,但并不是所有的企業(yè)數據都是適合存放在廉價的HDFS集群之上的。
價值
數據湖的一部分價值是把不同種類的數據匯聚到一起,另一部分價值是不需要預定義的模型就能進行數據分析。現(xiàn)在的大數據架構是可擴展的,并且可以為用戶提供越來越多的實時分析。在商業(yè)智能(BI)和數據倉庫還沒有被淘汰的今天,大數據分析和大數據湖正在向更多類型的實時智能服務發(fā)展,這些實時的智能服務可以支持實時的決策制定。
隱憂
數據湖架構面向多數據源的信息存儲,包括物聯(lián)網在內。大數據分析或歸檔可通過訪問數據湖處理或交付數據子集給請求用戶。但數據湖架構可不僅僅是一個巨大的磁盤而已。
數據湖的數據持久性和安全卻是需要優(yōu)先考慮的因素。很多選擇都能交付一個合理的成本,但并非所有都能滿足數據湖的長期存儲需求。挑戰(zhàn)就在于數據湖中很多數據永遠不會刪除。這種數據的價值在于它要那來分析以及和年復一年的數據進行比對,這將抵消其容量成本。
在數據湖架構中,信息安全作為另一項挑戰(zhàn)往往被人忽視。相比于其它,這種類型的存儲安全要更加重要。數據湖架構從定義上看是將所有的雞蛋放在一個籃子中。而如果其中一個存儲庫的安全被破壞,那么未知方將可能訪問所有數據。很多數據都以已于讀取的格式存儲,像是JPEG、PDF文件——如果你的數據湖架構不夠安全,那么信息損失很容易。
內容來自百科網