大數據分析

　　工具介紹

　　前端展現

　　用于展現分析的前端開源工具有JasperSoft，Pentaho，Spagobi，Openi，Birt等等。

　　用于展現分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos，BO，Microsoft Power BI，Oracle，Microstrategy，QlikView、Tableau 。

　　國內的有BDP，國云數據（大數據魔鏡），思邁特，FineBI等等。

　　數據倉庫

　　有Teradata AsterData， EMC GreenPlum， HP Vertica 等等。

　　數據集市

　　有QlikView、 Tableau 、Style Intelligence等等。

　　分析步驟

　　大數據分析的六個基本方面

　　1. Analytic Visualizations（可視化分析）

　　不管是對數據分析專家還是普通用戶，數據可視化是數據分析工具最基本的要求。可視化可以直觀的展示數據，讓數據自己說話，讓觀眾聽到結果。

　　2. Data Mining Algorithms（數據挖掘算法）

　　可視化是給人看的，數據挖掘就是給機器看的。集群、分割、孤立點分析還有其他的算法讓我們深入數據內部，挖掘價值。這些算法不僅要處理大數據的量，也要處理大數據的速度。

　　3. Predictive Analytic Capabilities（預測性分析能力）

　　數據挖掘可以讓分析員更好的理解數據，而預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。

　　4. Semantic Engines（語義引擎）

　　我們知道由于非結構化數據的多樣性帶來了數據分析的新的挑戰(zhàn)，我們需要一系列的工具去解析，提取，分析數據。語義引擎需要被設計成能夠從“文檔”中智能提取信息。

　　5. Data Quality and Master Data Management（數據質量和數據管理）

　　數據質量和數據管理是一些管理方面的最佳實踐。通過標準化的流程和工具對數據進行處理可以保證一個預先定義好的高質量的分析結果。

　　假如大數據真的是下一個重要的技術革新的話，我們最好把精力關注在大數據能給我們帶來的好處，而不僅僅是挑戰(zhàn)。

　　6.數據存儲，數據倉庫

　　數據倉庫是為了便于多維分析和多角度展示數據按特定模式進行存儲所建立起來的關系型數據庫。在商業(yè)智能系統(tǒng)的設計中，數據倉庫的構建是關鍵，是商業(yè)智能系統(tǒng)的基礎，承擔對業(yè)務系統(tǒng)數據整合的任務，為商業(yè)智能系統(tǒng)提供數據抽取、轉換和加載(ETL)，并按主題對數據進行查詢和訪問，為聯機數據分析和數據挖掘提供數據平臺。

　　發(fā)展狀況

　　開源大數據

　　1. Hadoop HDFS、Hadoop MapReduce，HBase、Hive 漸次誕生，早期Hadoop生態(tài)圈逐步形成。

　　2. Hypertable是另類。它存在于Hadoop生態(tài)圈之外，但也曾經有一些用戶。

　　一體機數據倉庫

　　IBM PureData(Netezza)，OracleExadata，SAP Hana等等。

　　應用實例

　　巴西世界杯關系

　　與往屆世界杯不同的是：數據分析[3]  成為巴西世界杯賽事外的精彩看點。伴隨賽場上球員的奮力角逐，大數據也在全力演繹世界杯背后的分析故事。一向以嚴謹著稱的德國隊引入專門處理大數據的足球解決方案，進行比賽數據分析，優(yōu)化球隊配置，并通過分析對手數據找到比賽的“制敵”方式；谷歌、微軟、Opta等通過大數據分析預測賽果...... 大數據，不僅成為賽場上的“第12人”，也在某種程度上充當了世界杯的“預言帝”。

　　大數據分析邂逅世界杯，是大數據時代的必然發(fā)生，而大數據分析也將在未來改變我們生活的方方面面。

　　業(yè)務成果

　　1.積極主動&預測需求： 企業(yè)機構面臨著越來越大的競爭壓力，它們不僅需要獲取客戶，還要了解客戶的需求，以便提升客戶體驗，并發(fā)展長久的關系?？蛻敉ㄟ^分享數據，降低數據使用的隱私級別，期望企業(yè)能夠了解他們，形成相應的互動，并在所有的接觸點提供無縫體驗。

　　為此，企業(yè)需要識別客戶的多個標識符（例如手機、電子郵件和地址），并將其整合為一個單獨的客戶ID。由于客戶越來越多地使用多個渠道與企業(yè)互動，為此需要整合傳統(tǒng)數據源和數字數據源來理解客戶的行為。此外，企業(yè)也需要提供情境相關的實時體驗，這也是客戶的期望。

　　2. 緩沖風險&減少欺詐： 安全和欺詐分析旨在保護所有物理、財務和知識資產免受內部和外部威脅的濫用。高效的數據和分析能力將確保最佳的欺詐預防水平，提升整個企業(yè)機構的安全：威懾需要建立有效的機制，以便企業(yè)快速檢測并預測欺詐活動，同時識別和跟蹤肇事者。

　　將統(tǒng)計、網絡、路徑和大數據方法論用于帶來警報的預測性欺詐傾向模型，將確保在被實時威脅檢測流程觸發(fā)后能夠及時做出響應，并自動發(fā)出警報和做出相應的處理。數據管理以及高效和透明的欺詐事件報告機制將有助于改進欺詐風險管理流程。

　　此外，對整個企業(yè)的數據進行集成和關聯可以提供統(tǒng)一的跨不同業(yè)務線、產品和交易的欺詐視圖。多類型分析和數據基礎可以提供更準確的欺詐趨勢分析和預測，并預測未來的潛在操作方式，確定欺詐審計和調查中的漏洞。

　　3.提供相關產品： 產品是任何企業(yè)機構生存的基石，也通常是企業(yè)投入最大的領域。產品管理團隊的作用是辨識推動創(chuàng)新、新功能和服務戰(zhàn)略路線圖的發(fā)展趨勢。

　　通過對個人公布的想法和觀點的第三方數據源進行有效整理，再進行相應分析，可以幫助企業(yè)在需求發(fā)生變化或開發(fā)新技術的時候保持競爭力，并能夠加快對市場需求的預測，在需求產生之前提供相應產品。

　　4. 個性化&服務： 公司在處理結構化數據方面仍然有些吃力，并需要快速應對通過數字技術進行客戶交互所帶來的不穩(wěn)定性。要做出實時回應，并讓客戶感覺受到重視，只能通過先進的分析技術實現。大數據帶來了基于客戶個性進行互動的機會。這是通過理解客戶的態(tài)度，并考慮實時位置等因素，從而在多渠道的服務環(huán)境中帶來個性化關注實現的。

　　5. 優(yōu)化&改善客戶體驗 運營管理不善可能會導致無數重大的問題，這包括面臨損害客戶體驗，最終降低品牌忠誠度的重大風險。通過在流程設計和控制，以及在商品或服務生產中的業(yè)務運營優(yōu)化中應用分析技術，可以提升滿足客戶期望的有效性和效率，并實現卓越的運營。

　　通過部署先進的分析技術，可以提高現場運營活動的生產力和效率，并能夠根據業(yè)務和客戶需求優(yōu)化組織人力安排。數據和分析的最佳化使用可以帶來端對端的視圖，并能夠對關鍵運營指標進行衡量，從而確保持續(xù)不斷的改進。

　　例如，對于許多企業(yè)來說，庫存是當前資產類別中最大的一個項目——庫存過多或不足都會直接影響公司的直接成本和盈利能力。通過數據和分析，能夠以最低的成本確保不間斷的生產、銷售和/或客戶服務水平，從而改善庫存管理水平。數據和分析能夠提供目前和計劃中的庫存情況的信息，以及有關庫存高度、組成和位置的信息，并能夠幫助確定存庫戰(zhàn)略，并做出相應決策?？蛻羝诖@得相關的無縫體驗，并讓企業(yè)得知他們的活動。

　　異步大數據分析

　　異步處理的大數據分析中遵守了捕獲、存儲加分析的流程，過程中數據由傳感器、網頁服務器、銷售終端、移動設備等獲取，之后再存儲到相應設備上，之后再進行分析。由于這些類型的分析都是通過傳統(tǒng)的關系型數據庫管理系統(tǒng)(RDBMS)進行的，數據形式都需要轉換或者轉型成為RDBMS能夠使用的結構類型，例如行或者列的形式，并且需要和其它的數據相連續(xù)。

　　處理的過程被稱之為提取、轉移、加載或者稱為ETL。首先將數據從源系統(tǒng)中提取處理，再將數據標準化處理且將數據發(fā)往相應的數據倉儲等待進一步分析。在傳統(tǒng)數據庫環(huán)境中，這種ETL步驟相對直接，因為分析的對象往往是為人們熟知的金融報告、銷售或者市場報表、企業(yè)資源規(guī)劃等等。然而在大數據環(huán)境下，ETL可能會變得相對復雜，因此轉型過程對于不同類型的數據源之間處理方式是不同的。

　　當分析開始的時候，數據首先從數據倉儲中會被抽出來，被放進RDBMS里以產生需要的報告或者支撐相應的商業(yè)智能應用。在大數據分析的環(huán)節(jié)中，裸數據以及經轉換了的數據大都會被保存下來，因為可能在后面還需要再次轉換。