聯(lián)機分析處理 (OLAP)通過快速、一致、交互地訪問各種可能的信息視圖,幫助數(shù)據(jù)分析人員、管理人員、決策人員洞察數(shù)據(jù)的奧秘,掌握隱藏于其中的規(guī)律。
OLAP力圖處理數(shù)據(jù)倉庫中浩如煙海的數(shù)據(jù),并將之轉化為有用的信息,從而實現(xiàn)對數(shù)據(jù)的歸納、分析和處理,幫助企業(yè)完成決策。 OLAP支持最終用戶進行動態(tài)多維分析,其中包括跨維、在不同層次之間跨成員的計算和建模;在時間序列上的趨勢分析、預測分析:切片和切塊,并在屏幕上顯示,從宏觀到微觀,對數(shù)據(jù)進行深入分析;可查詢到底層的細節(jié)數(shù)據(jù);在觀察區(qū)域中旋轉,進行不同的維間的比較。
聯(lián)機分析(OLAP)是由關系數(shù)據(jù)庫之父E.F.Codd于1993年提出的一種數(shù)據(jù)動態(tài)分析模型,它允許以一種稱為多維數(shù)據(jù)集的多維結構訪問來自商業(yè)數(shù)據(jù)源的經(jīng)過聚合和組織整理的數(shù)據(jù)。以此為標準,OLAP作為單獨的一類產(chǎn)品同聯(lián)機事務處理(OLTP)得以明顯區(qū)分。
有點深奧是不是?其實并不復雜,OLAP最基本的概念其實只有三個:多維觀察、數(shù)據(jù)鉆取、CUBE運算。
從動態(tài)的多維角度分析數(shù)據(jù)
我們在平時工作中,會遇到各種問題,在分析問題的時候,同樣的現(xiàn)象,我們會從多個角度去分析考慮,并且有時候我們還會從幾個角度綜合起來進行分析。這就是OLAP分析最基本的概念:從多個觀察角度的靈活組合來觀察數(shù)據(jù),從而發(fā)現(xiàn)數(shù)據(jù)內(nèi)在規(guī)律。
OLAP將數(shù)據(jù)分為兩種特征,一種為表現(xiàn)特征,比如一個銷售分析模型中的銷售額、毛利等;還有一種為角度特征,比如銷售分析中的時間周期、產(chǎn)品類型、銷售模式、銷售區(qū)域等。前者是被觀察的對象,OLAP術語稱之為“度量數(shù)據(jù)”,后者為觀察視角,OLAP術語稱之為“維數(shù)據(jù)”。
如果建立這樣一個模型,我們就可以根據(jù)業(yè)務需求,從產(chǎn)品類型角度去觀察各個銷售地區(qū)的銷售額數(shù)據(jù)(以產(chǎn)品類型和銷售地區(qū)為維、以銷售額為度量);或者我們還可以從銷售模式的角度去觀察各個銷售地區(qū)的銷售額數(shù)據(jù)(以銷售模式和銷售地區(qū)為維、以銷售額為度量)。
在Max@X Analyser的OLAP模型中,每個模型最多可以設定255個維、1024個度量,也就是說,我們可以從255個角度或者角度組合,去同時觀察1024個數(shù)據(jù)對象的變化。
對數(shù)據(jù)進行鉆取,以獲得更為精確的信息
在分析過程中,我們可能需要在現(xiàn)有數(shù)據(jù)基礎上,將數(shù)據(jù)進一步細化,以獲得更為精確的認識。這就是OLAP中數(shù)據(jù)鉆取的概念。
比如,在銷售分析中,當我們以產(chǎn)品類型和銷售地區(qū)為維、以銷售額為度量進行分析的時候,可能希望進一步觀察某類產(chǎn)品的不同銷售模式在各個銷售地區(qū)的表現(xiàn),這時我們就可以在產(chǎn)品大類這個數(shù)據(jù)維下面,再加上一個銷售模式維,從而獲得相應的信息。
創(chuàng)建數(shù)據(jù)CUBE
那么,要滿足上述運算,需要什么樣的前提呢?
我們可以想像,和報表不同,OLAP分析所需的原始數(shù)據(jù)量是非常龐大的。一個分析模型,往往會涉及數(shù)百萬條、數(shù)千萬條、甚至更多;而分析模型中包含多個維數(shù)據(jù),這些維又可以由瀏覽者作任意的提取組合。這樣的結果就是大量的實時運算導致的時間延滯。我們可以設想,一個對于1000萬條記錄的分析模型,如果一次提取4個維度進行組合分析,那么實際的運算次數(shù)將達到4的1000次方的數(shù)量:這樣的運算量將導致數(shù)十分鐘乃至更長的等待時間。如果用戶對維組合次序進行調(diào)整,或者增加減少某些維度的話,又將是一個重新的計算過程。
從上面分析,我們可以得出結論,如果不能解決OLAP運算效率問題的話,OLAP將是一個毫無實用價值的概念。那么,作為一個成熟產(chǎn)品是如何解決這個問題的呢?這就是OLAP中一個非常重要的技術:數(shù)據(jù)CUBE預運算。
一個OLAP模型中,度量數(shù)據(jù)和維數(shù)據(jù)我們應該實現(xiàn)確定,一旦兩者確定下來,那么我們可以對數(shù)據(jù)進行預先的處理,在正式發(fā)布之前,將數(shù)據(jù)根據(jù)維進行最大限度的聚類運算,運算中會考慮到各種維組合情況,運算結果將生成一個數(shù)據(jù)CUBE,并保存在服務器上。這樣,當最終用戶在調(diào)閱這個分析模型的時候,就可以直接使用這個CUBE,在此基礎上根據(jù)用戶的維選擇和維組合進行復運算,從而達到實時響應的這么一個效果。
作為一個成熟的產(chǎn)品,Max@X Analyser無論是在CUBE創(chuàng)建還是后續(xù)的瀏覽操作,效率都是非常高的。測試結果表明:原始數(shù)據(jù)行數(shù)在3200萬條記錄的時候,包含10個維數(shù)據(jù)組合、2個度量數(shù)據(jù)的CUBE,創(chuàng)建周期為132分鐘,裝載效率是12.5秒。這樣的成績對比世界上任何一個高端OLAP同類產(chǎn)品,都不遜色。(需要更為詳細的測試報告,可以與炎鼎軟件聯(lián)系)。
補充說明
上面所說的,是OLAP最基本的概念,除此以外,OLAP通常包括的功能包括數(shù)據(jù)旋轉(變換觀察維組合順序)、數(shù)據(jù)切片(過濾無關數(shù)據(jù),對指定數(shù)據(jù)進行重點觀察),以及對數(shù)據(jù)進行跨行列運算(如Max@X Analyser中的增加行列差額、等比環(huán)比等擴展運算)。
如果您希望了解更多關于OLAP的信息,請與炎鼎軟件技術支持聯(lián)系。
OLAP(聯(lián)機分析處理)。
什么是聯(lián)機分析處理(OLAP) 聯(lián)機分析處理 (OLAP) 的概念最早是由關系數(shù)據(jù)庫之父E.F.Codd于1993年提出的,他同時提出了關于OLAP的12條準則。OLAP的提出引起了很大的反響,OLAP作為一類產(chǎn)品同聯(lián)機事務處理 (OLTP) 明顯區(qū)分開來。
當今的數(shù)據(jù)處理大致可以分成兩大類:聯(lián)機事務處理OLTP(on-line transaction processing)、聯(lián)機分析處理OLAP(On-Line Analytical Processing)。OLTP是傳統(tǒng)的關系型數(shù)據(jù)庫的主要應用,主要是基本的、日常的事務處理,例如銀行交易。
OLAP是數(shù)據(jù)倉庫系統(tǒng)的主要應用,支持復雜的分析操作,側重決策支持,并且提供直觀易懂的查詢結果。下表列出了OLTP與OLAP之間的比較。
OLTPOLAP用戶操作人員,低層管理人員決策人員,高級管理人員功能日常操作處理分析決策DB 設計面向應用面向主題數(shù)據(jù)當前的, 最新的細節(jié)的, 二維的分立的歷史的, 聚集的, 多維的集成的, 統(tǒng)一的存取讀/寫數(shù)十條記錄讀上百萬條記錄工作單位簡單的事務復雜的查詢用戶數(shù)上千個上百個DB 大小100MB-GB100GB-TB OLAP是使分析人員、管理人員或執(zhí)行人員能夠從多角度對信息進行快速、一致、交互地存取,從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術。OLAP的目標是滿足決策支持或者滿足在多維環(huán)境下特定的查詢和報表需求,它的技術核心是"維"這個概念。
“維”是人們觀察客觀世界的角度,是一種高層次的類型劃分?!熬S”一般包含著層次關系,這種層次關系有時會相當復雜。
通過把一個實體的多項重要的屬性定義為多個維(dimension),使用戶能對不同維上的數(shù)據(jù)進行比較。因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。
OLAP的基本多維分析操作有鉆?。╮oll up和drill down)、切片(slice)和切塊(dice)、以及旋轉(pivot)、drill across、drill through等。 ·鉆取是改變維的層次,變換分析的粒度。
它包括向上鉆?。╮oll up)和向下鉆?。╠rill down)。roll up是在某一維上將低層次的細節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù),或者減少維數(shù);而drill down則相反,它從匯總數(shù)據(jù)深入到細節(jié)數(shù)據(jù)進行觀察或增加新維。
·切片和切塊是在一部分維上選定值后,關心度量數(shù)據(jù)在剩余維上的分布。如果剩余的維只有兩個,則是切片;如果有三個,則是切塊。
·旋轉是變換維的方向,即在表格中重新安排維的放置(例如行列互換)。 OLAP有多種實現(xiàn)方法,根據(jù)存儲數(shù)據(jù)的方式不同可以分為ROLAP、MOLAP、HOLAP。
ROLAP表示基于關系數(shù)據(jù)庫的OLAP實現(xiàn)(Relational OLAP)。以關系數(shù)據(jù)庫為核心,以關系型結構進行多維數(shù)據(jù)的表示和存儲。
ROLAP將多維數(shù)據(jù)庫的多維結構劃分為兩類表:一類是事實表,用來存儲數(shù)據(jù)和維關鍵字;另一類是維表,即對每個維至少使用一個表來存放維的層次、成員類別等維的描述信息。維表和事實表通過主關鍵字和外關鍵字聯(lián)系在一起,形成了"星型模式"。
對于層次復雜的維,為避免冗余數(shù)據(jù)占用過大的存儲空間,可以使用多個表來描述,這種星型模式的擴展稱為"雪花模式"。 MOLAP表示基于多維數(shù)據(jù)組織的OLAP實現(xiàn)(Multidimensional OLAP)。
以多維數(shù)據(jù)組織方式為核心,也就是說,MOLAP使用多維數(shù)組存儲數(shù)據(jù)。多維數(shù)據(jù)在存儲中將形成"立方塊(Cube)"的結構,在MOLAP中對"立方塊"的"旋轉"、"切塊"、"切片"是產(chǎn)生多維數(shù)據(jù)報表的主要技術。
HOLAP表示基于混合數(shù)據(jù)組織的OLAP實現(xiàn)(Hybrid OLAP)。如低層是關系型的,高層是多維矩陣型的。
這種方式具有更好的靈活性。 還有其他的一些實現(xiàn)OLAP的方法,如提供一個專用的SQL Server,對某些存儲模式(如星型、雪片型)提供對SQL查詢的特殊支持。
OLAP工具是針對特定問題的聯(lián)機數(shù)據(jù)訪問與分析。它通過多維的方式對數(shù)據(jù)進行分析、查詢和報表。
維是人們觀察數(shù)據(jù)的特定角度。例如,一個企業(yè)在考慮產(chǎn)品的銷售情況時,通常從時間、地區(qū)和產(chǎn)品的不同角度來深入觀察產(chǎn)品的銷售情況。
這里的時間、地區(qū)和產(chǎn)品就是維。而這些維的不同組合和所考察的度量指標構成的多維數(shù)組則是OLAP分析的基礎,可形式化表示為(維1,維2,……,維n,度量指標),如(地區(qū)、時間、產(chǎn)品、銷售額)。
多維分析是指對以多維形式組織起來的數(shù)據(jù)采取切片(Slice)、切塊(Dice)、鉆?。―rill-down和Roll-up)、旋轉(Pivot)等各種分析動作,以求剖析數(shù)據(jù),使用戶能從多個角度、多側面地觀察數(shù)據(jù)庫中的數(shù)據(jù),從而深入理解包含在數(shù)據(jù)中的信息。 根據(jù)綜合性數(shù)據(jù)的組織方式的不同,目前常見的OLAP主要有基于多維數(shù)據(jù)庫的MOLAP及基于關系數(shù)據(jù)庫的ROLAP兩種。
MOLAP是以多維的方式組織和存儲數(shù)據(jù),ROLAP則利用現(xiàn)有的關系數(shù)據(jù)庫技術來模擬多維數(shù)據(jù)。在數(shù)據(jù)倉庫應用中,OLAP應用一般是數(shù)據(jù)倉庫應用的前端工具,同時OLAP工具還可以同數(shù)據(jù)挖掘工具、統(tǒng)計分析工具配合使用,增強決策分析功能。
聲明:本網(wǎng)站尊重并保護知識產(chǎn)權,根據(jù)《信息網(wǎng)絡傳播權保護條例》,如果我們轉載的作品侵犯了您的權利,請在一個月內(nèi)通知我們,我們會及時刪除。
蜀ICP備2020033479號-4 Copyright ? 2016 學習鳥. 頁面生成時間:3.217秒