請問資料倉儲的作用,資料倉儲在CRM中的意義是什麼

2022-06-17 10:17:04 字數 4357 閱讀 5652

1樓:雲宜諸雋

首先明晰什麼是資料倉儲,直白的說,資料倉儲就是資料集的儲存倉庫,其構建方式自上而下,自下而上的緊湊步驟就不再贅述了,其資料倉儲分為傳統經分資料倉儲和現在業務運營型資料倉儲(有的場景下統稱為資料中心),分層按域形成資料的層次化管理和儲存,面向不同的應用介面,分層可能是基礎層(資料來源)、中間層(彙總)、集市層(面向主題、應用)等等,這個按企業業務需求不同劃分會有差異;按域可能是客戶域、產品域、賬單域等等,同上。edw的意義在於做分析決策,企業業務支撐等等。

對於crm我想你應該比較瞭解了(根據你問的問題),裡面有客戶基本資訊、積分資訊等等(具體內容不在這裡列舉),edw綜合這些資料資訊,過濾處理,根據分析因子建立分析模型(客戶保有、中高階客戶細分等等),這些資訊都來自類似crm這樣的業務系統。先就說到這裡吧

2樓:曾華月操曦

資料倉儲對crm的意義重大,它為客戶資訊的保留、儲存,以及後期的資料分析提供支撐平臺。

請問資料倉儲的作用,資料倉儲在crm中的意義是什麼

3樓:古青尹

首先明晰什麼是資料倉儲,直白的說,資料倉儲就是資料集的儲存倉庫,其構建方式自上而下,自下而上的緊湊步驟就不再贅述了,其資料倉儲分為傳統經分資料倉儲和現在業務運營型資料倉儲(有的場景下統稱為資料中心),分層按域形成資料的層次化管理和儲存,面向不同的應用介面,分層可能是基礎層(資料來源)、中間層(彙總)、集市層(面向主題、應用)等等,這個按企業業務需求不同劃分會有差異;按域可能是客戶域、產品域、賬單域等等,同上。edw的意義在於做分析決策,企業業務支撐等等。

對於crm我想你應該比較瞭解了(根據你問的問題),裡面有客戶基本資訊、積分資訊等等(具體內容不在這裡列舉),edw綜合這些資料資訊,過濾處理,根據分析因子建立分析模型(客戶保有、中高階客戶細分等等),這些資訊都來自類似crm這樣的業務系統。先就說到這裡吧

4樓:it技術小店

資料倉儲就是儲存資料的,使用者儲存歷史資料,根據歷史資料來做某些決策。

5樓:

資料倉儲對crm的意義重大,它為客戶資訊的保留、儲存,以及後期的資料分析提供支撐平臺。

6樓:匿名使用者

資料倉儲意義在於能有效的將客戶資料統一運作管理。如今市面上有很多很好的crm,你可以參考一下,用友crm、zoho crm、八百客、xcrm等,這些都是名氣很大的crm,他們都有體驗版本的

7樓:愛可生雲資料庫

整合公司所有業務資料,建立統一的資料中心;

提供各種報表,有給高層的,有給各個業務的;

為**運營提供運營上的資料支援,就是通過資料,讓運營及時瞭解**和產品的運營效果;

為各個業務提供線上或線下的資料支援,成為公司統一的資料交換與提供平臺;

分析使用者行為資料,通過資料探勘來降低投入成本,提高投入效果;比如廣告定向精準投放、使用者個性化推薦等;

開發資料產品,直接或間接為公司盈利;

建設開放資料平臺,開放公司資料;

。。。。。。

上面列出的內容看上去和傳統行業資料倉儲用途差不多,並且都要求資料倉儲/資料平臺有很好的穩定性、可靠性;但在網際網路行業,除了資料量大之外,越來越多的業務要求時效性,甚至很多是要求實時的 ,另外,網際網路行業的業務變化非常快,不可能像傳統行業一樣,可以使用自頂向下的方法建立資料倉儲,一勞永逸,它要求新的業務很快能融入資料倉儲中來,老的下線的業務,能很方便的從現有的資料倉儲中下線;

其實,網際網路行業的資料倉儲就是所謂的敏捷資料倉儲,不但要求能快速的響應資料,也要求能快速的響應業務;

建設敏捷資料倉儲,除了對架構技術上的要求之外,還有一個很重要的方面,就是資料建模,如果一上來就想著建立一套能相容所有資料和業務的資料模型,那就又回到傳統資料倉儲的建設上了,很難滿足對業務變化的快速響應。應對這種情況,一般是先將核心的持久化的業務進行深度建模(比如:基於**日誌建立的**統計分析模型和使用者瀏覽軌跡模型;基於公司核心使用者資料建立的使用者模型),其它的業務一般都採用維度+寬表的方式來建立資料模型。

這塊是後話。

整體架構下面的圖是我們目前使用的資料平臺架構圖,其實大多公司應該都差不多:

請點選輸入**描述

邏輯上,一般都有資料採集層、資料儲存與分析層、資料共享層、資料應用層。可能叫法有所不同,本質上的角色都大同小異。

我們從下往上看:

資料採集資料採集層的任務就是把資料從各種資料來源中採集和儲存到資料儲存上,期間有可能會做一些簡單的清洗。

資料來源的種類比較多:

作為網際網路行業,**日誌佔的份額最大,**日誌儲存在多臺**日誌伺服器上,

一般是在每臺**日誌伺服器上部署flume agent,實時的收集**日誌並儲存到hdfs上;

業務資料庫:

當然,flume通過配置與開發,也可以實時的從資料庫中同步資料到hdfs。

來自於ftp/http的資料來源:

有可能一些合作伙伴提供的資料,需要通過ftp/http等定時獲取,datax也可以滿足該需求;

其他資料來源:

比如一些手工錄入的資料,只需要提供一個介面或小程式,即可完成;

資料儲存與分析毋庸置疑,hdfs是大資料環境下資料倉儲/資料平臺最完美的資料儲存解決方案。

離線資料分析與計算,也就是對實時性要求不高的部分,在我看來,hive還是首當其衝的選擇,豐富的資料型別、內建函式;壓縮比非常高的orc檔案儲存格式;非常方便的sql支援,使得hive在基於結構化資料上的統計分析遠遠比mapreduce要高效的多,一句sql可以完成的需求,開發mr可能需要上百行**;

實時計算部分,後面單獨說。

資料共享這裡的資料共享,其實指的是前面資料分析與計算後的結果存放的地方,其實就是關係型資料庫和nosql資料庫;

前面使用hive、mr、spark、sparksql分析和計算的結果,還是在hdfs上,但大多業務和應用不可能直接從hdfs上獲取資料,那麼就需要一個資料共享的地方,使得各業務和產品能方便的獲取資料; 和資料採集層到hdfs剛好相反,這裡需要一個從hdfs將資料同步至其他目標資料來源的工具,同樣,datax也可以滿足。

另外,一些實時計算的結果資料可能由實時計算模組直接寫入資料共享。

資料應用

業務產品

業務產品所使用的資料,已經存在於資料共享層,他們直接從資料共享層訪問即可;

報表同業務產品,報表所使用的資料,一般也是已經統計彙總好的,存放於資料共享層;

即席查詢

即席查詢的使用者有很多,有可能是資料開發人員、**和產品運營人員、資料分析人員、甚至是部門老大,他們都有即席查詢資料的需求;

這種即席查詢通常是現有的報表和資料共享層的資料並不能滿足他們的需求,需要從資料儲存層直接查詢。

即席查詢一般是通過sql完成,最大的難度在於響應速度上,使用hive有點慢,目前我的解決方案是sparksql,它的響應速度較hive快很多,而且能很好的與hive相容。

當然,你也可以使用impala,如果不在乎平臺中再多一個框架的話。

olap

目前,很多的olap工具不能很好的支援從hdfs上直接獲取資料,都是通過將需要的資料同步到關係型資料庫中做olap,但如果資料量巨大的話,關係型資料庫顯然不行;

這時候,需要做相應的開發,從hdfs或者hbase中獲取資料,完成olap的功能;

比如:根據使用者在介面上選擇的不定的維度和指標,通過開發介面,從hbase中獲取資料來展示。

其它資料介面

這種介面有通用的,有定製的。比如:一個從redis中獲取使用者屬性的介面是通用的,所有的業務都可以呼叫這個介面來獲取使用者屬性。

實時計算現在業務對資料倉儲實時性的需求越來越多,比如:實時的瞭解**的整體流量;實時的獲取一個廣告的**和點選;在海量資料下,依靠傳統資料庫和傳統實現方法基本完成不了,需要的是一種分散式的、高吞吐量的、延時低的、高可靠的實時計算框架;storm在這塊是比較成熟了,但我選擇spark streaming,原因很簡單,不想多引入一個框架到平臺中,另外,spark streaming比storm延時性高那麼一點點,那對於我們的需要可以忽略。

我們目前使用spark streaming實現了實時的**流量統計、實時的廣告效果統計兩塊功能。

做法也很簡單,由flume在前端日誌伺服器上收集**日誌和廣告日誌,實時的傳送給spark streaming,由spark streaming完成統計,將資料儲存至redis,業務通過訪問redis實時獲取。

任務排程與監控在資料倉儲/資料平臺中,有各種各樣非常多的程式和任務,比如:資料採集任務、資料同步任務、資料分析任務等;

這些任務除了定時排程,還存在非常複雜的任務依賴關係,比如:資料分析任務必須等相應的資料採集任務完成後才能開始;資料同步任務需要等資料分析任務完成後才能開始; 這就需要一個非常完善的任務排程與監控系統,它作為資料倉儲/資料平臺的中樞,負責排程和監控所有任務的分配與執行。

前面有寫過文章,《大資料平臺中的任務排程與監控》,這裡不再累贅。

請點選輸入**描述

請點選輸入**描述

hive資料倉儲和關係型資料庫mysql的區別

1 首選在編譯安裝mysql的時候指定兩個引數使用utf8編碼。2 次選在配置檔案my.f或my.ini設定兩個參版數,權同時設定init connect引數。3 第三在配置檔案my.f或my.ini設定兩個引數,同時客戶端的連線指定set names命令。4 在配置檔案my.f.hive資料倉儲和...

請問,C 如何對CString型別的資料轉換為小數

float a a atof finsuredamount a就是3.9 c mfc cstring怎麼轉換成double 1 開啟編寫c語言的軟體codeblocks。2 建立一個編寫c語言的檔案。3 接下來開始編寫程式,首先是準備轉換中需要用到的變數和常量。4 接著是使用clrscr函式限定開始...

請問在access資料庫的資料表中,各個記錄是按什麼順序排列的

按照插入的順序 如果你先錄製編號為2的,2就顯示在第一行 告訴你個辦法,你新建一張表,插入幾條資料,試著看一下就知道了 按編號 預設從小到大,可以大到小 預設情況是從小到大 升序 排列。如果你要從大到小 降序 排列,一般通過建立一個 查詢作為輸出,在查詢中設定按編號 大到小 降序 排列即可。不需要關...