點(diǎn)擊進(jìn)入》》》廣西專業(yè)技術(shù)人員培訓(xùn)管理系統(tǒng)

大數(shù)據(jù)的相關(guān)信息

1.什么是大數(shù)據(jù)?

在維克托?邁爾-舍恩伯格及肯尼斯?庫克耶編寫的《大數(shù)據(jù)時代》中大數(shù)據(jù)指不用隨機(jī)分析法(抽樣調(diào)查)這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。

大數(shù)據(jù)的4V特點(diǎn)：Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。

對于“大數(shù)據(jù)”(Bigdata)研究機(jī)構(gòu)Gartner給出了這樣的定義�！按髷�(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

根據(jù)維基百科的定義，大數(shù)據(jù)是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。

大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。

從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的在于對海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘，但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術(shù)。

2.大數(shù)據(jù)時代是什么意思?

大數(shù)據(jù)時代就是說，在未來，我們認(rèn)為會存在這樣一個時代。那個時代里，幾乎我們每一個舉動，都會被記錄，并變成數(shù)據(jù)被存儲起來，無數(shù)的數(shù)據(jù)就組合成了你本人的一個信息庫。通過這個信息庫，你的一言一行，你的都變得可預(yù)測。

最早提出“大數(shù)據(jù)”時代到來的是全球知名咨詢公司麥肯錫，麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來�！�

“大數(shù)據(jù)”在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域以及軍事、金融、通訊等行業(yè)存在已有時日，卻因?yàn)槟陙砘ヂ?lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關(guān)注。大數(shù)據(jù)作為云計(jì)算、物聯(lián)網(wǎng)之后IT行業(yè)又一大顛覆性的技術(shù)革命。云計(jì)算主要為數(shù)據(jù)資產(chǎn)提供了保管、訪問的場所和渠道，而數(shù)據(jù)才是真正有價值的資產(chǎn)。企業(yè)內(nèi)部的經(jīng)營交易信息、互聯(lián)網(wǎng)世界中的商品物流信息，互聯(lián)網(wǎng)世界中的人與人交互信息、位置信息等，其數(shù)量將遠(yuǎn)遠(yuǎn)超越現(xiàn)有企業(yè)IT架構(gòu)和基礎(chǔ)設(shè)施的承載能力，實(shí)時性要求也將大大超越現(xiàn)有的計(jì)算能力。如何盤活這些數(shù)據(jù)資產(chǎn)，使其為國家治理、企業(yè)決策乃至個人生活服務(wù)，是大數(shù)據(jù)的核心議題，也是云計(jì)算內(nèi)在的靈魂和必然的升級方向。

3.大數(shù)據(jù)、數(shù)據(jù)分析和數(shù)據(jù)挖掘的區(qū)別

大數(shù)據(jù)、數(shù)據(jù)分析、數(shù)據(jù)挖掘的區(qū)別是，大數(shù)據(jù)是互聯(lián)網(wǎng)的海量數(shù)據(jù)挖掘，而數(shù)據(jù)挖掘更多是針對內(nèi)部企業(yè)行業(yè)小眾化的數(shù)據(jù)挖掘，數(shù)據(jù)分析就是進(jìn)行做出針對性的分析和診斷，大數(shù)據(jù)需要分析的是趨勢和發(fā)展，數(shù)據(jù)挖掘主要發(fā)現(xiàn)的是問題和診斷：

1.大數(shù)據(jù)(bigdata)：

指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn);

在維克托?邁爾-舍恩伯格及肯尼斯?庫克耶編寫的《大數(shù)據(jù)時代》中大數(shù)據(jù)指不用隨機(jī)分析法(抽樣調(diào)查)這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的5V特點(diǎn)(IBM提出)：Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)Veracity(真實(shí)性)。

2.數(shù)據(jù)分析：

是指用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法對收集來的大量數(shù)據(jù)進(jìn)行分析，提取有用信息和形成結(jié)論而對數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過程。這一過程也是質(zhì)量管理體系的支持過程。在實(shí)用中，數(shù)據(jù)分析可幫助人們作出判斷，以便采取適當(dāng)行動。

數(shù)據(jù)分析的數(shù)學(xué)基礎(chǔ)在20世紀(jì)早期就已確立，但直到計(jì)算機(jī)的出現(xiàn)才使得實(shí)際操作成為可能，并使得數(shù)據(jù)分析得以推廣。數(shù)據(jù)分析是數(shù)學(xué)與計(jì)算機(jī)科學(xué)相結(jié)合的產(chǎn)物。

3.數(shù)據(jù)挖掘(Datamining)：

又譯為資料探勘、數(shù)據(jù)采礦。它是數(shù)據(jù)庫知識發(fā)現(xiàn)(英語：Knowledge-DiscoveryinDatabases，簡稱：KDD)中的一個步驟。數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程。數(shù)據(jù)挖掘通常與計(jì)算機(jī)科學(xué)有關(guān)，并通過統(tǒng)計(jì)、在線分析處理、情報檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)(依靠過去的經(jīng)驗(yàn)法則)和模式識別等諸多方法來實(shí)現(xiàn)上述目標(biāo)。

簡而言之：

大數(shù)據(jù)是范圍比較廣的數(shù)據(jù)分析和數(shù)據(jù)挖掘。

按照數(shù)據(jù)分析的流程來說，數(shù)據(jù)挖掘工作較數(shù)據(jù)分析工作靠前些，二者又有重合的地方，數(shù)據(jù)挖掘側(cè)重?cái)?shù)據(jù)的清洗和梳理。

數(shù)據(jù)分析處于數(shù)據(jù)處理的最末端，是最后階段。

數(shù)據(jù)分析和數(shù)據(jù)挖掘的分界、概念比較模糊，模糊的意思是二者很難區(qū)分。

大數(shù)據(jù)概念更為廣泛，是把創(chuàng)新的思維、信息技術(shù)、統(tǒng)計(jì)學(xué)等等技術(shù)的綜合體，每個人限于學(xué)術(shù)背景、技術(shù)背景，概述的都不一樣。

4.大數(shù)據(jù)可以做什么?

1.對大數(shù)據(jù)的處理分析正成為新一代信息技術(shù)融合應(yīng)用的結(jié)點(diǎn)

移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、數(shù)字家庭、電子商務(wù)等是新一代信息技術(shù)的應(yīng)用形態(tài)，這些應(yīng)用不斷產(chǎn)生大數(shù)據(jù)。云計(jì)算為這些海量、多樣化的大數(shù)據(jù)提供存儲和運(yùn)算臺。通過對不同來源數(shù)據(jù)的管理、處理、分析與優(yōu)化，將結(jié)果反饋到上述應(yīng)用中，將創(chuàng)造出巨大的經(jīng)濟(jì)和社會價值。

大數(shù)據(jù)具有催生社會變革的能量。但釋放這種能量，需要嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)治理、富有洞見的數(shù)據(jù)分析和激發(fā)管理創(chuàng)新的環(huán)境(RamayyaKrishnan,卡內(nèi)基?梅隆大學(xué)海因茲學(xué)院院長)。

2.大數(shù)據(jù)是信息產(chǎn)業(yè)持續(xù)高速增長的新引擎

面向大數(shù)據(jù)市場的新技術(shù)、新產(chǎn)品、新服務(wù)、新業(yè)態(tài)會不斷涌現(xiàn)。在硬件與集成設(shè)備領(lǐng)域，大數(shù)據(jù)將對芯片、存儲產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲處理服務(wù)器、內(nèi)存計(jì)算等市場。在軟件與服務(wù)領(lǐng)域，大數(shù)據(jù)將引發(fā)數(shù)據(jù)快速處理分析、數(shù)據(jù)挖掘技術(shù)和軟件產(chǎn)品的發(fā)展。

3.大數(shù)據(jù)利用將成為提高核心競爭力的關(guān)鍵因素，各行各業(yè)的決策正在從“業(yè)務(wù)驅(qū)動”轉(zhuǎn)變“數(shù)據(jù)驅(qū)動”

在高校來說，對大數(shù)據(jù)的分析可以幫助制定更加精準(zhǔn)有效的管理策略提供決策支持;可以為在校師生提供更加及時和個性化的服務(wù)，大大促進(jìn)學(xué)校綜合管理水的提升。

4.大數(shù)據(jù)時代科學(xué)研究的方法手段將發(fā)生重大改變

例如，抽樣調(diào)查是社會科學(xué)的基本研究方法。在大數(shù)據(jù)時代，可通過實(shí)時監(jiān)測、跟蹤研究對象在互聯(lián)網(wǎng)上產(chǎn)生的海量行為數(shù)據(jù)，進(jìn)行挖掘分析，揭示出規(guī)律性的東西，提出研究結(jié)論和對策。

5.大數(shù)據(jù)的商業(yè)價值

1.對顧客群體細(xì)分

“大數(shù)據(jù)”可以對顧客群體細(xì)分，然后對每個群體量體裁衣般的采取獨(dú)特的行動。瞄準(zhǔn)特定的顧客群體來進(jìn)行營銷和服務(wù)是商家一直以來的追求。云存儲的海量數(shù)據(jù)和“大數(shù)據(jù)”的分析技術(shù)使得對消費(fèi)者的實(shí)時和極端的細(xì)分有了成本效率極高的可能。

2.模擬實(shí)境

運(yùn)用“大數(shù)據(jù)”模擬實(shí)境，發(fā)掘新的需求和提高投入的回報率。現(xiàn)在越來越多的產(chǎn)品中都裝有傳感器，汽車和智能手機(jī)的普及使得可收集數(shù)據(jù)呈現(xiàn)爆炸性增長。微博等社交網(wǎng)絡(luò)也在產(chǎn)生著海量的數(shù)據(jù)。

云計(jì)算和“大數(shù)據(jù)”分析技術(shù)使得商家可以在成本效率較高的情況下，實(shí)時地把這些數(shù)據(jù)連同交易行為的數(shù)據(jù)進(jìn)行儲存和分析。交易過程、產(chǎn)品使用和人類行為都可以數(shù)據(jù)化�！按髷�(shù)據(jù)”技術(shù)可以把這些數(shù)據(jù)整合起來進(jìn)行數(shù)據(jù)挖掘，從而在某些情況下通過模型模擬來判斷不同變量(比如不同地區(qū)不同促銷方案)的情況下何種方案投入回報最高。

3.提高投入回報率

提高“大數(shù)據(jù)”成果在各相關(guān)部門的分享程度，提高整個管理鏈條和產(chǎn)業(yè)鏈條的投入回報率�！按髷�(shù)據(jù)”能力強(qiáng)的部門可以通過云計(jì)算、互聯(lián)網(wǎng)和內(nèi)部搜索引擎把”大數(shù)據(jù)”成果和“大數(shù)據(jù)”能力比較薄弱的部門分享，幫助他們利用“大數(shù)據(jù)”創(chuàng)造商業(yè)價值。

4.數(shù)據(jù)儲存空間出租

企業(yè)和個人有著海量信息存儲的需求，只有將數(shù)據(jù)妥善存儲，才有可能進(jìn)一步挖掘其潛在價值。具體而言，這塊業(yè)務(wù)模式又可以細(xì)分為針對個人文件存儲和針對企業(yè)用戶兩大類。主要是通過易于使用的API，用戶可以方便地將各種數(shù)據(jù)對象放在云端，然后再像使用水、電一樣按用量收費(fèi)。

5.管理客戶關(guān)系

客戶管理應(yīng)用的目的是根據(jù)客戶的屬性(包括自然屬性和行為屬性)，從不同角度深層次分析客戶、了解客戶，以此增加新的客戶、提高客戶的忠誠度、降低客戶流失率、提高客戶消費(fèi)等。對中小客戶來說，專門的CRM顯然大而貴。不少中小商家將聊天軟件作為初級CRM來使用。比如把老客戶加到群里，在群朋友圈里發(fā)布新產(chǎn)品預(yù)告、特價銷售通知，完成售前售后服務(wù)等。

6.個性化精準(zhǔn)推薦

在運(yùn)營商內(nèi)部，根據(jù)用戶喜好推薦各類業(yè)務(wù)或應(yīng)用是常見的，比如應(yīng)用商店軟件推薦等，而通過關(guān)聯(lián)算法、文本摘要抽取、情感分析等智能分析算法后，可以將之延伸到商用化服務(wù)，利用數(shù)據(jù)挖掘技術(shù)幫助客戶進(jìn)行精準(zhǔn)營銷，今后盈利可以來自于客戶增值部分的分成。

以高校日常管理為例，通過用戶行為數(shù)據(jù)進(jìn)行分析后，可以給需要的人發(fā)送需要的信息，這樣的信息就是有價值的。在成都大學(xué)，在校師生都可以通過使用手機(jī)門戶，實(shí)時收到自己感興趣的消息推送。

7.數(shù)據(jù)搜索

數(shù)據(jù)搜索是一個并不新鮮的應(yīng)用，隨著“大數(shù)據(jù)”時代的到來，實(shí)時性、全范圍搜索的需求也就變得越來越強(qiáng)烈。我們需要能搜索各種社交網(wǎng)絡(luò)、用戶行為等數(shù)據(jù)。其商業(yè)應(yīng)用價值是將實(shí)時的數(shù)據(jù)處理與分析和廣告聯(lián)系起來，即實(shí)時廣告業(yè)務(wù)和應(yīng)用內(nèi)移動廣告的社交服務(wù)。

6.大數(shù)據(jù)技術(shù)有哪些?

基礎(chǔ)階段：

Linux、Docker、KVM、MySQL基礎(chǔ)、Oracle基礎(chǔ)、MongoDB、redis。

hadoopmaPducehdfsyarn：hadoop：Hadoop概念、版本、歷史，HDFS工作原理，YARN介紹及組件介紹。

大數(shù)據(jù)存儲階段：hbase、hive、sqoop。

大數(shù)據(jù)架構(gòu)設(shè)計(jì)階段：Flume分布式、Zookeeper、Kafka。

大數(shù)據(jù)實(shí)時計(jì)算階段：Mahout、Spark、storm。

大數(shù)據(jù)數(shù)據(jù)采集階段：Python、Scala。

大數(shù)據(jù)商業(yè)實(shí)戰(zhàn)階段：實(shí)操企業(yè)大數(shù)據(jù)處理業(yè)務(wù)場景，分析需求、解決方案實(shí)施，綜合技術(shù)實(shí)戰(zhàn)應(yīng)用。

在掌握J(rèn)ava基礎(chǔ)的前提下，各階段的大數(shù)據(jù)學(xué)習(xí)需要掌握的專業(yè)技術(shù)。

7.大數(shù)據(jù)的趨勢

趨勢一：數(shù)據(jù)的資源化

何為資源化，是指大數(shù)據(jù)成為企業(yè)和社會關(guān)注的重要戰(zhàn)略資源，并已成為大家爭相搶奪的新焦點(diǎn)。因而，企業(yè)必須要提前制定大數(shù)據(jù)營銷戰(zhàn)略計(jì)劃，搶占市場先機(jī)。

趨勢二：與云計(jì)算的深度結(jié)合

大數(shù)據(jù)離不開云處理，云處理為大數(shù)據(jù)提供了彈性可拓展的基礎(chǔ)設(shè)備，是產(chǎn)生大數(shù)據(jù)的臺之一。自2013年開始，大數(shù)據(jù)技術(shù)已開始和云計(jì)算技術(shù)緊密結(jié)合，預(yù)計(jì)未來兩者關(guān)系將更為密切。除此之外，物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興計(jì)算形態(tài)，也將一齊助力大數(shù)據(jù)革命，讓大數(shù)據(jù)營銷發(fā)揮出更大的影響力。

趨勢三：科學(xué)理論的突破

隨著大數(shù)據(jù)的快速發(fā)展，就像計(jì)算機(jī)和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)很有可能是新一輪的技術(shù)革命。隨之興起的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和人工智能等相關(guān)技術(shù)，可能會改變數(shù)據(jù)世界里的很多算法和基礎(chǔ)理論，實(shí)現(xiàn)科學(xué)技術(shù)上的突破。

趨勢四：數(shù)據(jù)科學(xué)和數(shù)據(jù)聯(lián)盟的成立

未來，數(shù)據(jù)科學(xué)將成為一門專門的學(xué)科，被越來越多的人所認(rèn)知。各大高校將設(shè)立專門的數(shù)據(jù)科學(xué)類專業(yè)，也會催生一批與之相關(guān)的新的就業(yè)崗位。與此同時，基于數(shù)據(jù)這個基礎(chǔ)臺，也將建立起跨領(lǐng)域的數(shù)據(jù)共享臺，之后，數(shù)據(jù)共享將擴(kuò)展到企業(yè)層面，并且成為未來產(chǎn)業(yè)的核心一環(huán)。