大數(shù)據(jù)時代的商務(wù)智能解構(gòu)企業(yè)數(shù)據(jù)倉庫架構(gòu)

文：網(wǎng)絡(luò)媒體

作者：鼎捷數(shù)智 | 發(fā)布時間：2015-09-02 10:19:00

新技術(shù) 工業(yè)互聯(lián)網(wǎng)

對于商務(wù)智能或數(shù)據(jù)倉庫開發(fā)者來說，這是一個讓人眼花繚亂的時代，各種新技術(shù)層出不窮。在種種技術(shù)創(chuàng)新解構(gòu)現(xiàn)存架構(gòu)、技術(shù)和傳統(tǒng)的時候，數(shù)據(jù)倉庫和商務(wù)智能也不能例外。

下一代數(shù)據(jù)倉庫和BI架構(gòu)呼之欲出，這種新型的架構(gòu)模式包含：

先進(jìn)的分析能力，比如統(tǒng)計(jì)和預(yù)測分析、針對實(shí)時數(shù)據(jù)的實(shí)時分析、以及成熟的數(shù)據(jù)虛擬化技術(shù)。

通過采用非關(guān)系型或開源系統(tǒng)，加強(qiáng)對新的、不常見的數(shù)據(jù)源（即所謂的大數(shù)據(jù)）的管理。

理解、融入新的概念，比如數(shù)據(jù)池

應(yīng)用數(shù)據(jù)虛擬化技術(shù)或數(shù)據(jù)混合工具進(jìn)行數(shù)據(jù)的提取、轉(zhuǎn)換和加載（即ETL），集成數(shù)據(jù)。

順應(yīng)云計(jì)算和移動化的發(fā)展趨勢，集成硬件和軟件應(yīng)用。

這些新技術(shù)可以幫助企業(yè)增強(qiáng)實(shí)施決策能力，同時降低擴(kuò)展的成本。

其實(shí)，很多技術(shù)人員不清楚該如何在現(xiàn)存BI和數(shù)據(jù)倉庫的基礎(chǔ)上添加新的功能。數(shù)據(jù)倉庫還有沒有存在的必要？Hadoop技術(shù)該如何使用？如何滿足業(yè)務(wù)日益增長的實(shí)時分析的需求？要回答這些問題，并不是件容易的事。

數(shù)據(jù)倉庫仍然是BI的工廠

讓我們首先來回答第一個問題：企業(yè)數(shù)據(jù)倉庫是否還有存在的必要？答案必然是肯定的，至少在可預(yù)見的未來，數(shù)據(jù)倉庫不會消失。不過，它的角色會有所改變。它會成為產(chǎn)品報(bào)表、比較和分析的源頭。數(shù)據(jù)倉庫是數(shù)據(jù)集成和高質(zhì)量數(shù)據(jù)的較好的來源。BI分析和BI儀表盤組件，包括市場、運(yùn)營和銷售部門使用的KPI和其他業(yè)務(wù)度量工具，都離不開企業(yè)數(shù)據(jù)倉庫。沒有什么能夠改變數(shù)據(jù)倉庫“BI工廠”的地位。

▲圖1 傳統(tǒng)企業(yè)數(shù)據(jù)倉庫

然而，傳統(tǒng)企業(yè)數(shù)據(jù)倉庫架構(gòu)已經(jīng)不能完全滿足今天企業(yè)的需求。在處理新類型數(shù)據(jù)、進(jìn)行深度分析和實(shí)時數(shù)據(jù)分析等方面，傳統(tǒng)數(shù)據(jù)倉庫架構(gòu)存在著明顯的不足。

▲圖2：新數(shù)據(jù)倉庫的組成

現(xiàn)在，來看一下第二個問題：Hadoop技術(shù)該如何應(yīng)用？無論是關(guān)系型數(shù)據(jù)平臺還是非關(guān)系型數(shù)據(jù)平臺，都要求我們走出傳統(tǒng)數(shù)據(jù)倉庫架構(gòu)，為BI增添新的組件。

圖2已經(jīng)顯示了我們擴(kuò)展數(shù)據(jù)倉庫采用的主要的組件。第一個是調(diào)查計(jì)算平臺，主要用到了關(guān)系型軟件和Hadoop技術(shù)。這一平臺主要用于挖掘數(shù)據(jù)、開發(fā)新的分析模型，比如數(shù)據(jù)挖掘、因果分析、條件分析、類型分析以及常規(guī)的無計(jì)劃的數(shù)據(jù)調(diào)查。

一些組織可能只將調(diào)查計(jì)算平臺用于簡單的實(shí)驗(yàn)沙箱，而一些組織會創(chuàng)建完整的分析平臺，或?qū)⑵溆米鲾?shù)據(jù)加工。如果部署得當(dāng)，這種新的平臺能夠幫助企業(yè)實(shí)現(xiàn)對大規(guī)模數(shù)據(jù)集的快速分析。

第二個新的組件就是數(shù)據(jù)加工。所謂數(shù)據(jù)加工，就是把來自于傳感器、社交媒體、RFID等多種數(shù)據(jù)源的數(shù)據(jù)和實(shí)時數(shù)據(jù)提取進(jìn)來，經(jīng)過一定加工后將其加載到關(guān)系型或非關(guān)系型數(shù)據(jù)存儲中。就像石油加工把原油變成石油產(chǎn)品一樣，數(shù)據(jù)加工把未經(jīng)處理的數(shù)據(jù)變成有用的信息，這些信息會為調(diào)查計(jì)算平臺或數(shù)據(jù)倉庫所用。數(shù)據(jù)加工通常要求在數(shù)據(jù)安全、隱私、質(zhì)量、歸檔和銷毀等數(shù)據(jù)治理層面能夠更靈活。

▲圖3：數(shù)據(jù)倉庫架構(gòu)

對數(shù)據(jù)倉庫擴(kuò)展的第三個組件也恰好回答了我們的第三個問題：如何滿足業(yè)務(wù)日益增長的實(shí)時分析的需求？這一組件包括運(yùn)營環(huán)境中的實(shí)時分析平臺，目的是要開發(fā)和部署實(shí)時分析應(yīng)用，比如Web事件分析、跟蹤流優(yōu)化和風(fēng)險分析。因?yàn)閷?shí)時分析平臺中的分析模型和規(guī)則很有可能會在企業(yè)數(shù)據(jù)倉庫、調(diào)查計(jì)算組件和實(shí)時分析平臺自身開發(fā)，所以一定要保證這三個平臺的緊密集成。

圖3把所有的元素都放入了數(shù)據(jù)倉庫架構(gòu)中?，F(xiàn)存的和新得數(shù)據(jù)管理、BI和分析技術(shù)可以并存共生、彼此支持。在擴(kuò)展的BI架構(gòu)中，每一個組件都得到了優(yōu)化，來滿足特定的功能和能力需求。

這種架構(gòu)總體上不會改變太多，這需要生產(chǎn)、調(diào)查和實(shí)時分析能力保持相對一致。

上一頁：傳統(tǒng)企業(yè)轉(zhuǎn)型要跨過互聯(lián)網(wǎng)數(shù)據(jù)思維的四重歷練你肯定不知道

下一頁：推動了機(jī)器智能的大數(shù)據(jù)，為什么還應(yīng)用不起來？

相關(guān)新聞