如果你處理過大量數(shù)據(jù),你也許聽說過“數(shù)據(jù)治理”一詞,你可能會想,它是什么?適不適合你?如何實施?簡單來說,數(shù)據(jù)治理就是處理數(shù)據(jù)的策略——如何存儲、訪問、驗證、保護和使用數(shù)據(jù)。數(shù)據(jù)治理包括制定獲取方案:誰能訪問、使用和共享你的數(shù)據(jù)。
這些問題正變得越來越重要,因為企業(yè)依靠收集、存儲和分析大量數(shù)據(jù),來達成業(yè)務目標。數(shù)據(jù)變成了企業(yè)的盈利工具、業(yè)務媒介和商業(yè)機密。數(shù)據(jù)泄露會導致法律糾紛,還會令消費者對公司的核心業(yè)務失去信心。
如果心存僥幸,全憑各個部門自行處理數(shù)據(jù),那么你將缺乏統(tǒng)一管理數(shù)據(jù)的策略,也許會讓各個部門制定自己的策略。這是無法想象的,就像是缺乏管理實物庫存的策略,允許各個實體部門隨心所欲地生產(chǎn)、儲存和銷售產(chǎn)品一樣。數(shù)據(jù)使用不當就像庫存使用不當一樣,會給企業(yè)造成數(shù)百萬美元的損失,因此必須制定策略,使數(shù)據(jù)具有一致性和安全性,并隨時可用。這些應用于數(shù)據(jù)領域的策略就構成了數(shù)據(jù)治理。
數(shù)據(jù)治理的特點
數(shù)據(jù)治理策略必須涵蓋數(shù)據(jù)的整個生命周期,從數(shù)據(jù)收集一直到數(shù)據(jù)管護。在這個生命周期中,數(shù)據(jù)治理必須解決以下問題:
·從哪里獲取數(shù)據(jù)以及如何獲取,這是數(shù)據(jù)生命周期的起點。數(shù)據(jù)來源決定了數(shù)據(jù)治理策略的基礎。例如,數(shù)據(jù)來源所決定的一個重要因素是數(shù)據(jù)集的大小。是從目標市場、現(xiàn)有客戶和社交媒體收集數(shù)據(jù)?還是使用外部供應商收集數(shù)據(jù)或者分析你收集的數(shù)據(jù)?輸入數(shù)據(jù)流是什么?數(shù)據(jù)治理必須著眼于這些問題,制定策略來管理數(shù)據(jù)的采集,引導外部供應商處理他們收集的數(shù)據(jù)或者分析你收集的數(shù)據(jù),控制數(shù)據(jù)的路徑和生命周期。
·驗證數(shù)據(jù),尤其是驗證多來源數(shù)據(jù),這是一個讓數(shù)據(jù)管理者十分頭疼的問題。區(qū)分重要數(shù)據(jù)和噪聲數(shù)據(jù)只是這個問題的開始。如果你是從附屬企業(yè)收集數(shù)據(jù),你必須確保數(shù)據(jù)是可靠的。如果你是從社交媒體網(wǎng)站收集數(shù)據(jù),在你的策略中,必須有一種驗證重要數(shù)據(jù)的方法。任何情況下,你都必須確保收集的數(shù)據(jù)是合法的,并且沒有被篡改——這個問題在并行計算環(huán)境中尤其令人擔心,因為并行計算常常被用來收集大量數(shù)據(jù),這往往會使用云服務,故而增加了安全隱患。
·數(shù)據(jù)治理策略必須解決存儲問題,而存儲方案在很大程度上取決于數(shù)據(jù)集的大小。以PB計的大數(shù)據(jù)必須存儲在安全的冗余系統(tǒng)中,常常利用層次體系,根據(jù)使用頻率來提供數(shù)據(jù)。這樣一來,昂貴的在線系統(tǒng)提供的是被頻繁請求的數(shù)據(jù),而請求頻率較低的數(shù)據(jù)則存儲在不那么昂貴、可用率較低的系統(tǒng)上。不幸的是,這些優(yōu)先級較低的系統(tǒng)也可能安全性較低,從而允許訪問敏感但請求頻率低的數(shù)據(jù)。因此,在制定數(shù)據(jù)存儲方案時,良好的數(shù)據(jù)治理策略必須考慮到方方面面的因素。
·數(shù)據(jù)治理必須制定訪問控制策略,在需求和安全之間找到平衡。要讓那些需要數(shù)據(jù)來完成工作的人,可以在必要時無障礙地訪問數(shù)據(jù)。出于安全原因,他們能夠訪問的數(shù)據(jù)不應該超出他們的權限。數(shù)據(jù)應該在請求合法的前提下,才能被訪問,但出于安全原因,對敏感數(shù)據(jù)應該加大訪問難度,只向具有特定安全級別的用戶開放。應該對用戶和數(shù)據(jù)本身設置訪問級別,管理賬戶時,應與人力資源部和采購部緊密互動,這一點非常重要,因為這樣可以及時地使離職員工和停止合作的供應商不再擁有訪問權限。處理好這些細節(jié)以及確保數(shù)據(jù)所有權和責任,這是構成完整的數(shù)據(jù)治理策略的一部分。
·使用/共享/分析。數(shù)據(jù)如何被使用是數(shù)據(jù)治理策略至關重要的一部分。潛在用途包括,使用數(shù)據(jù)來管理賬戶,改善客戶體驗,投放定向廣告,提供市場分析,與附屬企業(yè)共享數(shù)據(jù)。必須仔細界定哪些數(shù)據(jù)可用于共享或者用于營銷,并保護它們免遭攻擊和泄露,因為數(shù)據(jù)本來就應該被用于純粹的內(nèi)部用途。要讓客戶知道,收集數(shù)據(jù)的所有公司都必須遵守數(shù)據(jù)使用和共享方面的規(guī)定。能夠確保數(shù)據(jù)使用合規(guī),這是擁有數(shù)據(jù)治理策略的另一個重要好處。
·收集、驗證、存儲、訪問和使用都是安全計劃的必要組成部分,必須有一個全面的策略來解決這些問題以及其他安全問題。安全計劃必須在不禁止用戶使用的情況下發(fā)揮作用,但數(shù)據(jù)生命周期的各個階段都可能因為疏忽大意而遭到攻擊和泄露。對安全的追求必須是支持而不是妨礙必要的使用。數(shù)據(jù)治理策略必須制定數(shù)據(jù)安全方案,包括訪問協(xié)議、對靜態(tài)數(shù)據(jù)和傳輸中數(shù)據(jù)進行加密,等等。
·管護/元數(shù)據(jù)。沒有管護的數(shù)據(jù)生命周期是不完整的。管護的一個例子是把元數(shù)據(jù)應用于一個數(shù)據(jù),以便識別檢索。元數(shù)據(jù)包括數(shù)據(jù)的來源、生成和/或收集的日期、訪問級別信息、語義分類以及企業(yè)需要的其他屬性。數(shù)據(jù)治理能建立一個元數(shù)據(jù)詞匯表,界定數(shù)據(jù)的有效期。要記住,數(shù)據(jù)也會過期,到某個時候,也許只能用于歷史數(shù)據(jù)分析。
數(shù)據(jù)治理的組織問題
在創(chuàng)建數(shù)據(jù)治理的過程中,常常會遭到抵制,因為有些人擔心無法再訪問他們需要的數(shù)據(jù),還有些人出于競爭的考慮,向來不愿共享他們的數(shù)據(jù)。數(shù)據(jù)治理策略必須消除這些擔憂,讓各方面的人都能接受。習慣了數(shù)據(jù)筒倉環(huán)境的公司,可能不太容易適應新的數(shù)據(jù)治理策略,但如今對大型數(shù)據(jù)集的依賴以及隨之而來的諸多安全問題,使創(chuàng)建和實施覆蓋全公司的數(shù)據(jù)策略成為一種必然。數(shù)據(jù)日益成為企業(yè)基礎設施的一部分,在企業(yè)一步步處理各種特定情況的過程中,決策就這樣形成了。它以一次性的方式作出,常常是對某一特定問題的回應。因此,企業(yè)處理數(shù)據(jù)的方法會因為不同部門而改變,甚至會因為部門內(nèi)部的不同情況而改變。即使每個部門已經(jīng)有一套合理的數(shù)據(jù)處理方案,但這些方案可能彼此沖突,企業(yè)將不得不想辦法調解。弄清數(shù)據(jù)存儲的要求和需求是一件難事,如果做得不好,就無法發(fā)揮數(shù)據(jù)在營銷和客戶維系方面的潛力,而如果發(fā)生數(shù)據(jù)泄露,你還要承擔法律責任。另外一個問題是,在一家大公司里,部門之間會爭奪資源,還會展開競爭,讓自己的需求被領導聽取。各部門只需要確保自己的生存能力,無論是盈利業(yè)務,還是支持中心,都是如此,因此它們視野狹窄,只注重自身需求,很難在沒有調解的情況下達成妥協(xié)。數(shù)據(jù)治理委員會著眼于現(xiàn)有數(shù)據(jù)策略、未被滿足的需求以及潛在安全問題等,創(chuàng)建數(shù)據(jù)治理策略,使數(shù)據(jù)的采集、管護、儲存、訪問以及使用策略均實現(xiàn)標準化,同時還會考慮各個部門和崗位的不同需求。數(shù)據(jù)治理委員會還扮演了調解人的角色,平衡那些存在沖突的需求,在安全擔憂與訪問需求之間進行協(xié)調,確保最高效、最安全的數(shù)據(jù)管理策略。
五步實現(xiàn)成功的數(shù)據(jù)治理
1. 建立一個數(shù)據(jù)治理組織。數(shù)據(jù)治理研究所推薦建立一個數(shù)據(jù)治理委員會,負責評估各個數(shù)據(jù)用戶的輸入信息,建立覆蓋全公司的數(shù)據(jù)管理策略,滿足內(nèi)部用戶、外部用戶甚至法律方面的各種需求。該委員會的成員應該囊括各個業(yè)務領域的利益相關者,確保各方需求都得到滿足,所有類型的數(shù)據(jù)所有權均得到體現(xiàn)。安全專家也應成為委員會的一員。了解數(shù)據(jù)治理委員會的目標是什么,這一點很重要,因此,應該思考企業(yè)需要數(shù)據(jù)治理策略的原因,并清楚地加以說明。2. 制定一個框架,將林林總總的數(shù)據(jù)需求容納其中。這個框架必須確保各個部分被融合成一個整體,滿足收集、存儲、檢索和安全要求。為此,企業(yè)必須清楚說明其端到端數(shù)據(jù)策略,以便設計一個覆蓋所有要求和必要操作的框架。必須有計劃地把各個部分結合起來,彼此支持,這有很多好處,比如在高度安全的環(huán)境中執(zhí)行檢索要求。合規(guī)性也需要專門的設計,成為框架的一部分,這樣就可以追蹤和報告監(jiān)管問題。這個框架還包括日常記錄和其他安全措施,能夠對攻擊發(fā)出早期預警。在使用數(shù)據(jù)前,對其進行驗證,這也是框架的一部分。數(shù)據(jù)治理委員會應該了解框架的每個部分,明確其用途,以及它如何在數(shù)據(jù)的整個生命周期中發(fā)揮作用。3. 試點數(shù)據(jù)策略。通常來說,一個策略應該先在小范圍內(nèi)推行,以便發(fā)現(xiàn)計劃、框架和基礎設施的缺陷,然后才在整個公司實行。4. 擁有一個與時俱進的數(shù)據(jù)治理組織。數(shù)據(jù)治理委員會應該與時俱進,因為隨著數(shù)據(jù)治理策略延伸到新的業(yè)務領域,肯定需要對策略進行調整。而且,隨著技術的發(fā)展,數(shù)據(jù)策略也應該發(fā)展,與安全形勢、數(shù)據(jù)分析方法以及數(shù)據(jù)管理工具等保持同步。5. 知道什么是成功的數(shù)據(jù)策略。確立成功標準,以便衡量進展。制定數(shù)據(jù)管理目標,有助于確定成功的重要指標,進而確保數(shù)據(jù)治理策略朝著你希望和需要的方向前進。
結論
企業(yè)無論大小,都面臨著類似的數(shù)據(jù)挑戰(zhàn)。公司越大,數(shù)據(jù)越多,而數(shù)據(jù)越多,就越需要制定有效、正式的數(shù)據(jù)治理策略。規(guī)模較小的企業(yè)也許只需要非正式的數(shù)據(jù)治理策略就能做得很好,但前提是,公司的規(guī)模必須要小,而且對數(shù)據(jù)的依賴度必須要低。即便是非正式的數(shù)據(jù)治理策略,也必須考慮客戶和員工數(shù)據(jù)的收集、驗證、訪問以及存儲。當企業(yè)規(guī)模擴大,數(shù)據(jù)需求跨越多個部門時,當數(shù)據(jù)系統(tǒng)和數(shù)據(jù)集太大,難以駕馭時,當業(yè)務發(fā)展需要企業(yè)級的策略時,或者當法律或監(jiān)管提出需求時,就必須制定更為正式的數(shù)據(jù)治理策略。如果你發(fā)現(xiàn),有部門在制定自己的數(shù)據(jù)管理策略,就是時候了。一旦有足夠多的數(shù)據(jù)讓你成為黑客的攻擊目標,就是時候了。簡而言之,如果你不得不問“是時候了嗎?”,那么可以肯定,是時候制定正式的數(shù)據(jù)治理策略了。
-
數(shù)據(jù)
+關注
關注
8文章
7256瀏覽量
91893 -
數(shù)據(jù)收集
+關注
關注
0文章
73瀏覽量
11454
發(fā)布評論請先 登錄
評論