2003 年谷歌大數(shù)據(jù)“三駕馬車”論文發(fā)表，至今，大數(shù)據(jù)技術(shù)已經(jīng)成為各大企業(yè)尤其是互聯(lián)網(wǎng)企業(yè)的基礎(chǔ)設(shè)施。十幾年中，早期 Hadoop 的大力發(fā)展、中期 Kafka、Spark 的異軍突起以及現(xiàn)在 Flink 的強(qiáng)勢(shì)突圍，不僅推動(dòng)大數(shù)據(jù)成為了企業(yè)應(yīng)用的關(guān)鍵組件，同時(shí)為機(jī)器學(xué)習(xí)AI技術(shù)的發(fā)展提供了強(qiáng)有力的保障。大數(shù)據(jù)促進(jìn)了人工智能技術(shù)的革新，大數(shù)據(jù)、深度學(xué)習(xí)使得人工智能在廣泛的領(lǐng)域都獲得了突破性進(jìn)展。

人工智能主要有三個(gè)分支

1.依據(jù)規(guī)則的人工智能；

2.無規(guī)則，計(jì)算機(jī)讀取大量數(shù)據(jù)，依據(jù)數(shù)據(jù)的計(jì)算、概率剖析等方法，進(jìn)行智能處理的人工智能；

3.依據(jù)神經(jīng)元網(wǎng)絡(luò)的一種深度學(xué)習(xí)。

大數(shù)據(jù)發(fā)掘與人工智能技能相輔相成，互相影響。大數(shù)據(jù)分為“結(jié)構(gòu)化數(shù)據(jù)”與“非結(jié)構(gòu)化數(shù)據(jù)”?！敖Y(jié)構(gòu)化數(shù)據(jù)”是指企業(yè)的客戶信息、運(yùn)營數(shù)據(jù)、銷售數(shù)據(jù)、庫存數(shù)據(jù)等，存儲(chǔ)于普通的數(shù)據(jù)庫之中，專指可作為數(shù)據(jù)庫進(jìn)行管理的數(shù)據(jù)。相反，“非結(jié)構(gòu)化數(shù)據(jù)”是指不存儲(chǔ)于數(shù)據(jù)庫之中的，包括電子郵件、文本文件、圖畫、視頻等數(shù)據(jù)。

現(xiàn)在，非結(jié)構(gòu)化數(shù)據(jù)激增，企業(yè)數(shù)據(jù)的80％左右都對(duì)錯(cuò)結(jié)構(gòu)化數(shù)據(jù)。跟著交際媒體的鼓起，非結(jié)構(gòu)化數(shù)據(jù)更是迎來了爆發(fā)式添加。復(fù)雜、海量的數(shù)據(jù)通常被稱為大數(shù)據(jù)。

每個(gè)企業(yè)在經(jīng)營過程中都會(huì)產(chǎn)生大量的數(shù)據(jù)，隨著數(shù)據(jù)資源的不斷積累，數(shù)據(jù)管理和治理也將成為企業(yè)思考的重要問題。

2020年，將會(huì)有更多企業(yè)加入到尋求通過AI技術(shù)實(shí)現(xiàn)數(shù)據(jù)管理的行列中來。基于AI的數(shù)據(jù)管理，通過機(jī)器學(xué)習(xí)模型，結(jié)合研發(fā)與運(yùn)維等操作過程中的元數(shù)據(jù)，自動(dòng)化創(chuàng)建數(shù)據(jù)質(zhì)量規(guī)則，提供問題精準(zhǔn)定位、監(jiān)控預(yù)警等能力，從而免去許多手動(dòng)任務(wù)操作過程。

有機(jī)構(gòu)預(yù)測(cè)，在2022年底之前，通過機(jī)器學(xué)習(xí)和和自動(dòng)化服務(wù)管理技術(shù)，數(shù)據(jù)管理的手動(dòng)任務(wù)將會(huì)減少45%。

現(xiàn)在，大量數(shù)據(jù)發(fā)生之后，有低成本的存儲(chǔ)器將其存儲(chǔ)，有高速的CPU對(duì)其進(jìn)行處理，所以才有了人工智能后兩個(gè)分支的理論得以實(shí)踐。由此，人工智能就能做出挨近人類的處理或許判別，提高精準(zhǔn)度。同時(shí)，選用人工智能的服務(wù)作為高附加值服務(wù)，成為了獲取更多用戶的主要因素，而不斷添加的用戶，發(fā)生更多的數(shù)據(jù)，使得人工智能進(jìn)一步優(yōu)化。

大數(shù)據(jù)經(jīng)歷了較長時(shí)間的發(fā)展，目前已經(jīng)進(jìn)入了穩(wěn)步的發(fā)展時(shí)期，主流的大數(shù)據(jù)計(jì)算框架已經(jīng)成型，越來越多的基于這些主流框架的精細(xì)化上層應(yīng)用會(huì)成為一個(gè)趨勢(shì)。此外機(jī)器學(xué)習(xí)、AI 的持續(xù)發(fā)展反過來也在推動(dòng)大數(shù)據(jù)的規(guī)模、實(shí)時(shí)性以及平臺(tái)化的發(fā)展。越來越多的企業(yè)構(gòu)建起端到端的大數(shù)據(jù)機(jī)器學(xué)習(xí)平臺(tái)以提高大數(shù)據(jù)AI 落地效率，各大云廠商更是構(gòu)建出此類一體化產(chǎn)品希望能夠收獲更多的客戶和收益。
責(zé)任編輯:tzh