大資料,資料分析和資料探勘的區別

2022-05-13 09:36:34 字數 5160 閱讀 8179

1樓:海同職座標**

資料分析與資料探勘的目的不一樣,資料分析是有明確的分析群體,就是對群體進行各個維度的拆、分、組合,來找到問題的所在,而資料探勘的目標群體是不確定的,需要我們更多是是從資料的內在聯絡上去分析,從而結合業務、使用者、資料進行更多的洞察解讀。

資料分析與資料探勘的思考的方式不同,一般來講,資料分析是根據客觀的資料進行不斷的驗證和假設,而資料探勘是沒有假設的,但你也要根據模型的輸出給出你評判的標準。

我們經常做分析的時候,資料分析需要的思維性更強一些,更多是運用結構化、mece的思考方式,類似程式中的if else

而資料探勘大多數是大而全,多而精,資料越多模型越可能精確,變數越多,資料之間的關係越明確,什麼變數都要,先從模型的意義上選變數(大而全,多而精),之後根據變數的相關係程度、替代關係、重要性等幾個方面去篩選,最後全扔到模型裡面,最後從模型的引數和解讀的意義來判斷這種方式合不合理。

大資料感覺並不是資料量大,也不是資料複雜,這些都可以用工具和技術去處理,而是它可以做到千人千面,而且是實時判斷規則。

例如定向廣告的推送,就是大資料,它根據你以往的瀏覽行為,可以準確的給你推相關的資訊,基本做到了你一個人就是一個資料庫,而不是一條資料。但我們所作的資料分析更多是針對群體的,而非針對每個個人。

所以大資料時代也顯露出了各類問題,資料的隱私、資料殺熟、資料孤島等,這也許就是我們目前看到大資料分析更看重的是技術、手段的原因。

2樓:同桂蘭桂書

1.先做資料分析,一般就是收集資料、資料清洗、資料篩選、畫像

2.進階資料探勘,資料探勘是偏演算法的多一些,要求統計學、數學、計算機技能要求高一些

3樓:邶景明魯香

資料分析:一般要分析的目標比較明確,分析條件也比較清楚。資料探勘:目標不是很清晰,要依靠挖掘演算法來找出隱藏在大量資料中的規則、模式、規律等。

大資料和資料探勘什麼區別?

4樓:百度文庫精選

內容來自使用者:天成資訊

大資料和資料分析區別

大資料是指用現有的計算機軟硬體設施難以採集、儲存、管理、分析和使用的超大規模的資料集。大資料具有規模大、種類雜、快速化、價值密度低等特點(4v特性)。大資料的「大」是一個相對概念,沒有具體標準,如果一定要給一個標準,那么10-100tb通常稱為大資料的門檻。

     資料分析是一個大的概念,理論上任何對資料進行計算、處理從而得出一些有意義的結論的過程,都叫資料分析。從資料本身的複雜程度、以及對資料進行處理的複雜度和深度來看,可以把資料分析分為以下4個層次:資料統計,olap,資料探勘,大資料。

     大資料分析和資料分析是有區別和聯絡的。這裡重點關注兩者的是技術要求、使用場景、業務範圍等方面的區別和聯絡。重點要區分理論研究和實際應用兩方面區別和聯絡。

    第一:在分析方法上兩者並沒有本質不同    資料分析的核心工作是人對資料指標的分析、思考和解讀,人腦所能承載的資料量是極其有限的。所以,無論是「傳統資料分析」,還是「大資料分析」,均需要將原始資料按照分析思路進行統計處理,得到概要性的統計結果

供人分析。兩者在這個過程中是類似的,區別只是原始資料量大小所導致處理方式的不同。     第二:

在對統計學知識的使用重心上兩者存在較大的不同    傳統資料分析」使用的知識主要圍繞「能否通過少量的抽樣資料來推測真實世界」的主題。「大

5樓:泉修翁凡桃

大資料指由於資料量很大(一般是tb到pb數量級)而需要更好拓展性的資料處理方法,不僅是資料探勘,而且包括傳統的資料查詢等。從方法上,目前一般的商用資料庫無法很好地支援大資料的處理。大資料處理的一般思路是資料壓縮,資料抽樣,資料探勘等。

6樓:不是7個漢字嗎

傳統的資料探勘就是在資料中尋找有價值的規律,這和現在熱炒的大資料在方向上是一致的。

只不過大資料具有「高維、海量、實時」的特點,就是說資料量大,資料來源和資料的維度高,並且更新迅速的特點,傳統的資料探勘技術可能很難解決,需要從演算法的改進(提升演算法對大資料的處理能力)和方案的框架(分解任務,把大資料分析拆解成若干小單元加以解決,或者通過規律的提取,把重複出現的資料加以整合等等)等多方面去提升處理能力。

所以,可以理解成大資料是場景是問題,而資料探勘是手段。

7樓:匿名使用者

有大資料,再做資料探勘

8樓:派可資料

資料分析和資料探勘都是從資料庫中發現知識、所以我們稱資料分析和資料探勘叫做資料庫中的知識發現。但嚴格意義上來講,資料探勘才是真正意義上的資料庫中的知識發現

資料分析是從資料庫中通過統計、計算、抽樣等相關的方法,獲取基於資料庫的資料表象的知識,也就是指資料分析是從資料庫裡面得到一些表象性的資訊。資料探勘是從資料庫中,通過機器學習或者是通過數學演算法等相關的方法獲取深層次的知識(比如屬性之間的規律性,或者是**)的技術。

而大資料有以下特點::

容量(volume):資料的大小決定所考慮的資料的價值和潛在的資訊;

種類(variety):資料型別的多樣性;

速度(velocity):指獲得資料的速度;

可變性(variability):妨礙了處理和有效地管理資料的過程。

真實性(veracity):資料的質量。

複雜性(complexity):資料量巨大,**多渠道。

價值(value):合理運用大資料,以低成本創造**值。

大資料開發和資料分析有什麼區別?

9樓:南瓜蘋果

1、技術區別

大資料開發類的崗位對於code能力、工程能力有一定要求,這意味著需要有一定的程式設計能力,有一定的語言能力,然後就是解決問題的能力。

因為大資料開發會涉及到大量的開源的東西,而開源的東西坑比較多,所以需要能夠快速的定位問題解決問題,如果是零基礎,適合有一定的開發基礎,然後對於新東西能夠快速掌握。

如果是大資料分析類的職位,在業務上,需要你對業務能夠快速的瞭解、理解、掌握,通過資料感知業務的變化,通過對資料的分析來做業務的決策。

在技術上需要有一定的資料處理能力,比如一些指令碼的使用、sql資料庫的查詢,execl、sas、r等工具的使用等等。在工具層面上,變動的範圍比較少,主要還是業務的理解能力。

2、薪資區別

作為it類職業中的「大熊貓」,大資料工程師的收入待遇可以說達到了同類的頂級。國內it、通訊、行業招聘中,有10%都是和大資料相關的,且比例還在上升。

在美國,大資料工程師平均每年薪酬高達17.5萬美元。大資料開發工程師在一線城市和大資料發展城市的薪資是比較高的。

大資料分析:大資料分析同樣作為高收入技術崗位,薪資也不遑多讓,並且,我們可以看到,擁有3-5年技術經驗的人才薪資可達到30k以上。

3、資料儲存不同

傳統的資料分析資料量較小,相對更加容易處理。不需要過多考慮資料的儲存問題。而大資料所涉及到的資料具有海量、多樣性、高速性以及易變性等特點。因此需要專門的儲存工具。

4、資料探勘的方式不同

傳統的資料分析資料一般採用人工挖掘或者收集。而面對大資料人工已經無法實現最終的目標,因此需要跟多的大資料技術實現最終的資料探勘,例如爬蟲。

10樓:加米穀大資料科技

大資料平臺應用開發是目前一個就業的熱門方向,一方面是大資料開發的場景眾多,另一方面是難度並不高,能夠接納的從業人數也非常多。大資料開發是在大資料平臺基礎之上的開發,充分利用大資料平臺提供的功能來滿足企業的實際需求。

大資料分析是大資料應用的一個重點。大資料分析是基於大資料平臺提供的功能進行具體的資料分析,資料分析與場景有密切的關係,比如出行大資料分析、營銷大資料分析、金融大資料分析等等。

大資料開發工程師:

開發,建設,測試和維護架構,負責公司大資料平臺的開發和維護,負責大資料平臺持續整合相關工具平臺的架構設計與產品開發等;

資料分析師:

收集,處理和執行統計資料分析;運用工具,提取、分析、呈現資料,實現資料的商業意義,需要業務理解和工具應用能力;

11樓:千鋒知道小助手

首先需要定義什麼叫大資料,大資料顧名思義資料量要大,至於多大才算大資料我也不清楚,還有一個是特徵維度多才能稱得上大資料。

處理大量特徵維度的大資料,通過人自己去發現規律是很難的一件事情,所以大資料分析更多需要的是程式設計能力和數學能力等,比如說機器學習,深度學習等演算法的應用。

當然在資料分析也可以利用機器學習去進行分析,不過在資料分析方面更多是通過統計學去發現解釋問題。當然有一些分析思路是想通的。

12樓:匿名使用者

簡單點來說,大資料開發就是做大量資料的分散式計算的。

資料分析主要是做資料的收集、挖掘、清洗、分析,最後形成分析報告

想學的話可以參考下科多大。

13樓:河北中公優就業

大資料工程師會的東西很多,首先是懂業務,脫離行業認知和公司業務背景,分析的結果就沒有太大的使用價值。所以說一名出色的大資料工程師,對於本行業本領域一定是很熟悉,最好是有自己獨到的見解。

其次是要懂管理,這個一方面是搭建資料分析框架的要求,比如確定分析思路就需要用到營銷、管理等理論知識來指導;另一方面是針對資料分析結論提出有指導意義的分析建議。然後懂分析師最最基本的,能夠掌握資料分析基本原理與一些有效的資料分析方法,並能靈活運用到實踐工作中,對於開展資料分析起著至關重要的作用。接著,對於工具的掌握,也是很基本的,畢竟人腦對於資料的容量都是有限的。

最後,大資料工程師可能還要懂點設計,能夠運用圖表有效表達資料分析師的分析觀點,使分析結果一目瞭然。圖表的設計是門大學問,如圖形的選擇、版式的設計、顏色的搭配等等,都需要掌握一定的設計原則。

以上,作為一名大資料工程師,需要掌握的基礎技能大概就這些,以上這些技能的養成不是一朝一夕,所以說被取代也是極其不易的,本身大資料分析並不是一蹴而就的事情,而是需要你日積月累的資料處理經驗。什麼樣的人會被輕易替代呢?不求甚解,似懂非懂,幹了多少年還看不透本質,遇到問題仍然懵懂不解茫然無措,整日坐著重複性工作的人,才有可能被替代,也激素是所謂的青春飯,反觀大資料,掌握的技能越多。

資料分析行業絕對是一個朝陽行業,特別是網際網路的不斷髮展,一個不談資料的公司根本不叫網際網路公司,大資料工程師已經成為一個網際網路公司必備的職位了。有興趣的小夥伴可以瞭解一下優就業的大資料課程,零基礎適學,緊扣市場熱門技術和熱門崗位,結合專案實戰培養多方位大資料人才,畢業以後可以從事大資料運維、大資料開發、大資料分析等工作崗位。希望各位小夥伴能找準自己的方向,入行大資料要趁早啊。

大資料資料分析資料探勘有什麼區別

資料分析與資料探勘的目的不一樣,資料分析是有明確的分析群體,就是對群體進行各個維度的拆 分 組合,來找到問題的所在,而資料探勘的目標群體是不確定的,需要我們更多是是從資料的內在聯絡上去分析,從而結合業務 使用者 資料進行更多的洞察解讀。資料分析與資料探勘的思考的方式不同,一般來講,資料分析是根據客觀...

大資料工程師和資料分析師有什麼區別

資料工程師的重心在 後端 他們需要持續的優化資料通道,才能保證企業資料的準確性與可用性。同時還需確保在需要的時候能夠順暢地將資料提供給使用者。資料分析師則是通過使用資料工程師所構建的自定義api來提取新的資料集,並對其中的資料趨勢進行識別,同時對異常資料進行分析。分析師們將會對結果進行總結,並以一種...

做大資料分析一般用什麼工具呢,大資料分析一般用什麼工具呢?

python 與用於建立自定義演算法的程式設計方法不同,python不是一種獨特的軟體,但它是很多資料科學家的首選。在最近資料科學 kdnuggets對2052名使用者進行的分析 資料科學軟體調查中,python被65.6 的受訪者列為首選工具。r 與python類似,r是很多資料科學專業人員喜愛的...