數(shù)據(jù)挖掘是指人們從事先不知道的大量不完整、雜亂、模糊和隨機(jī)數(shù)據(jù)中提取潛在隱藏的有用信息和知識(shí)的過程。根據(jù)信息存儲(chǔ)格式，用于挖掘的對(duì)象是關(guān)系數(shù)據(jù)庫(kù)，面向?qū)ο蟮臄?shù)據(jù)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)，文本數(shù)據(jù)源，多媒體數(shù)據(jù)庫(kù)，空間數(shù)據(jù)庫(kù)，時(shí)間數(shù)據(jù)庫(kù)，異構(gòu)數(shù)據(jù)庫(kù)和Internet。

大數(shù)據(jù)挖掘方法

方法1.Analytic Visualizations（可視化分析）

無(wú)論是日志數(shù)據(jù)分析專家還是普通用戶，數(shù)據(jù)可視化都是數(shù)據(jù)分析工具的最基本要求。可視化可以直觀地顯示數(shù)據(jù)，讓數(shù)據(jù)自己說話，讓聽眾看到結(jié)果。

方法2.Data Mining Algorithms（數(shù)據(jù)挖掘算法）

如果說可視化用于人們觀看，那么數(shù)據(jù)挖掘就是給機(jī)器看的。集群、分割、孤立點(diǎn)分析和其他算法使我們能夠深入挖掘數(shù)據(jù)并挖掘價(jià)值。這些算法不僅要處理大量數(shù)據(jù)，還必須盡量縮減處理大數(shù)據(jù)的速度。

方法3.Predictive Analytic Capabilities（預(yù)測(cè)分析能力）

數(shù)據(jù)挖掘使分析師可以更好地理解數(shù)據(jù)，而預(yù)測(cè)分析則使分析師可以根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測(cè)性判斷。

方法4.semantic engine（語(yǔ)義引擎）

由于非結(jié)構(gòu)化數(shù)據(jù)的多樣性給數(shù)據(jù)分析帶來(lái)了新挑戰(zhàn)，因此需要一系列工具來(lái)解析，提取和分析數(shù)據(jù)。需要將語(yǔ)義引擎設(shè)計(jì)成從“文檔”中智能地提取信息。

方法5.Data Quality and Master Data Management（數(shù)據(jù)質(zhì)量和主數(shù)據(jù)管理）

數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是一些管理方面的最佳實(shí)踐。通過標(biāo)準(zhǔn)化流程和工具處理數(shù)據(jù)可確保獲得預(yù)定義的高質(zhì)量分析結(jié)果。

大數(shù)據(jù)挖掘應(yīng)用

大數(shù)據(jù)應(yīng)用1:大數(shù)據(jù)挖掘可以使混亂且無(wú)規(guī)則的數(shù)據(jù)變得清晰且具有高可用性

大數(shù)據(jù)具有兩個(gè)典型特征，一個(gè)是大量數(shù)據(jù)，另一個(gè)是復(fù)雜的計(jì)算。與傳統(tǒng)數(shù)據(jù)庫(kù)相比，大數(shù)據(jù)的結(jié)構(gòu)化程度，可用性，數(shù)據(jù)提取和數(shù)據(jù)清理都是一項(xiàng)繁重的工作。

典型的典型生產(chǎn)和銷售企業(yè)的業(yè)務(wù)系統(tǒng)數(shù)據(jù)是隔離，拆分，銷售，生產(chǎn)，財(cái)務(wù)，客戶等的，不同方面實(shí)際上是為自己的業(yè)務(wù)目標(biāo)和輸出構(gòu)建自己的IT系統(tǒng)甚至被外包給不同的IT集成商或軟件開發(fā)人員，因此系統(tǒng)相對(duì)獨(dú)立。這種獨(dú)立的結(jié)果不僅是隔離，而且在數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)記錄和存儲(chǔ)，軟件系統(tǒng)負(fù)載方面，其他產(chǎn)品的技術(shù)水平也有所不同。數(shù)據(jù)挖掘需要根據(jù)您的目標(biāo)構(gòu)建挖掘模型，并建立多個(gè)數(shù)據(jù)系統(tǒng)的關(guān)聯(lián)。

大數(shù)據(jù)應(yīng)用2:讓數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系，這種關(guān)系可能產(chǎn)生化學(xué)反應(yīng)

啤酒和尿布，口香糖和避孕套的著名例子可以發(fā)現(xiàn)典型數(shù)據(jù)之間的隱含關(guān)系。通過對(duì)消費(fèi)者行為的數(shù)據(jù)進(jìn)行建模和分析，可以發(fā)現(xiàn)理論上這兩個(gè)原本不相關(guān)的事物，當(dāng)用戶購(gòu)買某商品時(shí)產(chǎn)生了關(guān)聯(lián)，針對(duì)此發(fā)現(xiàn)優(yōu)化貨架商品可以增加銷售額。

用過亞馬遜的朋友可能已經(jīng)看到，購(gòu)買手機(jī)時(shí)，建議將手機(jī)殼和存儲(chǔ)卡包裝在一起以享受折扣。當(dāng)然，也有一些愚蠢的推薦策略，例如淘寶，您買了一個(gè)移動(dòng)電源，他立即推了一堆其他的移動(dòng)電源，告訴您還有便宜的哦，這個(gè)東西不是包子，短期內(nèi)購(gòu)買一次基本就不會(huì)馬上購(gòu)買第二次。當(dāng)然，如果將這種策略放在阿里巴巴上，那是一個(gè)很好的策略。對(duì)于批量購(gòu)買行為，此建議可以節(jié)省用戶的成本。

大數(shù)據(jù)應(yīng)用3:監(jiān)視數(shù)據(jù)生成過程以發(fā)現(xiàn)異常，并作出預(yù)警和錯(cuò)誤糾正

通過時(shí)間對(duì)系統(tǒng)生成的數(shù)據(jù)進(jìn)行建模，可以記錄平均值以及每個(gè)時(shí)間點(diǎn)和時(shí)間段的上下間隔。如果某個(gè)節(jié)點(diǎn)發(fā)生異常情況，則系統(tǒng)可以快速找到問題并進(jìn)行預(yù)警和故障排除。當(dāng)然，這只是技術(shù)系統(tǒng)的價(jià)值。

在業(yè)務(wù)系統(tǒng)中，這種數(shù)據(jù)異常會(huì)給您業(yè)務(wù)狀況的警告，幫助您比較歷史時(shí)間維度，確定事物發(fā)生變化的原因，并為您提供必要的時(shí)間，數(shù)據(jù)和相關(guān)信息參考用于決策分析。

大數(shù)據(jù)應(yīng)用4:通過數(shù)據(jù)挖掘建立知識(shí)模型以提供決策支持信息

IT系統(tǒng)正在發(fā)揮更大的價(jià)值，因?yàn)樗梢詭椭ㄟ^信息集成來(lái)提供決策參考信息。過去，有一個(gè)術(shù)語(yǔ)稱為KDD（知識(shí)發(fā)現(xiàn)）。隨著互聯(lián)網(wǎng)信息內(nèi)容的豐富和以及各大例如億信華辰BI軟件等公司的發(fā)展，網(wǎng)絡(luò)信息的價(jià)值和有效性也在增加。通過信息的存在和信息特征的提取，建立不同信息之間的關(guān)系，通過語(yǔ)義分析和情感分析，可以提取信息本身的價(jià)值趨勢(shì)，態(tài)度和消費(fèi)效用，從而提供更多的信息。而這些信息在決策參考上將提供更系統(tǒng)、數(shù)據(jù)化的分析和參考。

大數(shù)據(jù)應(yīng)用5:強(qiáng)大的數(shù)據(jù)處理和分析功能可以建立數(shù)據(jù)驅(qū)動(dòng)的垂直業(yè)務(wù)生態(tài)系統(tǒng)

數(shù)據(jù)挖掘技術(shù)系統(tǒng)將負(fù)責(zé)根據(jù)目標(biāo)重組所有數(shù)據(jù)，并建立與模型相對(duì)應(yīng)的數(shù)據(jù)索引。重建數(shù)據(jù)的順序?qū)⒋蟠筇岣邤?shù)據(jù)的可用性。從垂直行業(yè)開始，為該行業(yè)的信息服務(wù)需求建立模型，并不斷優(yōu)化各種細(xì)節(jié)和子節(jié)點(diǎn)的輸出，以便該行業(yè)中的每個(gè)顏色參與者都可以在生態(tài)上獲得自己的利益和價(jià)值，然后這將建立該細(xì)分行業(yè)的垂直業(yè)務(wù)生態(tài)。