什么是大數(shù)據(jù)

大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。

隨著云時代的來臨，大數(shù)據(jù)（Big data）也吸引了越來越多的關(guān)注。分析師團隊認為，大數(shù)據(jù)（Big data）通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。大數(shù)據(jù)分析常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。

大數(shù)據(jù)的意義

現(xiàn)在的社會是一個高速發(fā)展的社會，科技發(fā)達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數(shù)據(jù)就是這個高科技時代的產(chǎn)物。

阿里巴巴創(chuàng)辦人馬云來臺演講中就提到，未來的時代將不是IT時代，而是DT的時代，DT就是Data Technology數(shù)據(jù)科技，顯示大數(shù)據(jù)對于阿里巴巴集團來說舉足輕重。

有人把數(shù)據(jù)比喻為蘊藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數(shù)據(jù)并不在“大”，而在于“有用”。價值含量、挖掘成本比數(shù)量更為重要。對于很多行業(yè)而言，如何利用這些大規(guī)模數(shù)據(jù)是贏得競爭的關(guān)鍵。

大數(shù)據(jù)的價值體現(xiàn)在以下幾個方面：

1）對大量消費者提供產(chǎn)品或服務(wù)的企業(yè)可以利用大數(shù)據(jù)進行精準營銷

2） 做小而美模式的中小微企業(yè)可以利用大數(shù)據(jù)做服務(wù)轉(zhuǎn)型

3） 面臨互聯(lián)網(wǎng)壓力之下必須轉(zhuǎn)型的傳統(tǒng)企業(yè)需要與時俱進充分利用大數(shù)據(jù)的價值

大數(shù)據(jù)就業(yè)方向

大數(shù)據(jù)主要有三個就業(yè)方向，大數(shù)據(jù)系統(tǒng)研發(fā)類人才、大數(shù)據(jù)應(yīng)用開發(fā)類人才和大數(shù)據(jù)分析類人才。

在此三大方向中，各自的基礎(chǔ)崗位一般為大數(shù)據(jù)系統(tǒng)研發(fā)工程師、大數(shù)據(jù)應(yīng)用開發(fā)工程師和數(shù)據(jù)分析師。又可分為以下十大職位：

一、ETL研發(fā)

ETL研發(fā)，主要負責將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。

二、Hadoop開發(fā)

Hadoop的核心是HDFS和MapReduce.HDFS提供了海量數(shù)據(jù)的存儲，MapReduce提供了對數(shù)據(jù)的計算。隨著數(shù)據(jù)集規(guī)模不斷增大，而傳統(tǒng)BI的數(shù)據(jù)處理成本過高，企業(yè)對Hadoop及相關(guān)的廉價數(shù)據(jù)處理技術(shù)如Hive、HBase、MapReduce、Pig等的需求將持續(xù)增長。

三、可視化（前端展現(xiàn)）工具開發(fā)

可視化開發(fā)就是在可視開發(fā)工具提供的圖形用戶界面上，通過操作界面元素，由可視開發(fā)工具自動生成應(yīng)用軟件。還可輕松跨越多個資源和層次連接您的所有數(shù) 據(jù)，經(jīng)過時間考驗，完全可擴展的，功能豐富全面的可視化組件庫為開發(fā)人員提供了功能完整并且簡單易用的組件集合，以用來構(gòu)建極其豐富的用戶界面。

四、信息架構(gòu)開發(fā)

大數(shù)據(jù)重新激發(fā)了主數(shù)據(jù)管理的熱潮。充分開發(fā)利用企業(yè)數(shù)據(jù)并支持決策需要非常專業(yè)的技能。信息架構(gòu)師必須了解如何定義和存檔關(guān)鍵元素，確保以最有效的方式進行數(shù)據(jù)管理和利用。信息架構(gòu)師的關(guān)鍵技能包括主數(shù)據(jù)管理、業(yè)務(wù)知識和數(shù)據(jù)建模等。

五、數(shù)據(jù)倉庫研究

數(shù)據(jù)倉庫的專家熟悉Teradata、Neteeza和Exadata等公司的大數(shù)據(jù)一體機。能夠在這些一體機上完成數(shù)據(jù)集成、管理和性能優(yōu)化等工作。

六、OLAP開發(fā)

OLAP在線聯(lián)機分析開發(fā)者，負責將數(shù)據(jù)從關(guān)系型或非關(guān)系型數(shù)據(jù)源中抽取出來建立模型，然后創(chuàng)建數(shù)據(jù)訪問的用戶界面，提供高性能的預定義查詢功能。

七、數(shù)據(jù)科學研究

數(shù)據(jù)科學家是分析師、藝術(shù)家的合體，需要具備多種交叉科學和商業(yè)技能。

八、數(shù)據(jù)預測（數(shù)據(jù)挖掘）分析

營銷部門經(jīng)常使用預測分析預測用戶行為或鎖定目標用戶。預測分析開發(fā)者有些場景看上有有些類似數(shù)據(jù)科學家，即在企業(yè)歷史數(shù)據(jù)的基礎(chǔ)上通過假設(shè)來測試閾值并預測未來的表現(xiàn)。

九、企業(yè)數(shù)據(jù)管理

企業(yè)要提高數(shù)據(jù)質(zhì)量必須考慮進行數(shù)據(jù)管理，并需要為此設(shè)立數(shù)據(jù)管家職位，這一職位的人員需要能夠利用各種技術(shù)工具匯集企業(yè)周圍的大量數(shù)據(jù)，并將數(shù)據(jù)清洗 和規(guī)范化，將數(shù)據(jù)導入數(shù)據(jù)倉庫中，成為一個可用的版本。然后，通過報表和分析技術(shù)，數(shù)據(jù)被切片、切塊，并交付給成千上萬的人。擔當數(shù)據(jù)管家的人，需要保證 市場數(shù)據(jù)的完整性，準確性，唯一性，真實性和不冗余。

十、數(shù)據(jù)安全研究

數(shù)據(jù)安全這一職位，主要負責企業(yè)內(nèi)部大型服務(wù)器、存儲、數(shù)據(jù)安全管理工作，并對網(wǎng)絡(luò)、信息安全項目進行規(guī)劃、設(shè)計和實施。數(shù)據(jù)安全研究員還需要具有較強的管理經(jīng)驗，具備運維管理方面的知識和能力，對企業(yè)傳統(tǒng)業(yè)務(wù)有較深刻的理解，才能確保企業(yè)數(shù)據(jù)安全做到一絲不漏。

大數(shù)據(jù)人才發(fā)展前景

1. 人才缺口

全球最頂尖管理咨詢公司麥肯錫（McKinsey）出具的一份詳細分析報告顯示，大數(shù)據(jù)或者數(shù)據(jù)工作者的崗位需求將激增，其中大數(shù)據(jù)科學家的缺口在14萬到19萬之間，對于懂得如何利用大數(shù)據(jù)做決策的分析師和經(jīng)理的崗位缺口則將達到150萬！

2. 就業(yè)薪水

根據(jù)調(diào)查，目前北京地區(qū)大數(shù)據(jù)人才的平均工資為13680，月薪在15K以上的占41.4%。月薪6k-10k的占52.1%。
責任編輯：tzh