大數(shù)據(jù)的發(fā)展已經走到盡頭了嗎?
對于很多企業(yè)來說，數(shù)據(jù)是一個規(guī)模巨大的、幾乎沒有被開發(fā)的資源。很多機構和組織大多已經認識到，數(shù)據(jù)是一項關鍵資產，利用從企業(yè)數(shù)據(jù)中獲得的洞察力比以往任何時候都更為重要。在實踐中，創(chuàng)新者、顛覆者和初創(chuàng)企業(yè)在利用數(shù)據(jù)進行變革、競爭和贏得市場方面要靈活得多。而且，如果他們很好地利用了這些數(shù)據(jù)，那么他們獲得更多的客戶。他們很可能沒有大企業(yè)擁有那么多的數(shù)據(jù)，但他們更有能力利用這些數(shù)據(jù)。
大數(shù)據(jù)是一個流行術語，它定義了一系列方法，許多企業(yè)都使用這些方法來開發(fā)解決方案，從而產生所需的洞察力。然而，根據(jù)Gartner公司和其他機構的統(tǒng)計數(shù)，大多數(shù)公司都未能通過大數(shù)據(jù)方法實現(xiàn)其目標。
大數(shù)據(jù)方法的核心是在企業(yè)的大部分數(shù)據(jù)中集中攝取、轉換、治理和洞察。這將導致在有意義的時間范圍內顯著抑制業(yè)務價值交付的瓶頸。它非但沒有促進數(shù)據(jù)流動，反而被扼殺了。
那么還有別的選擇嗎?
如果有一種基于聯(lián)邦制而非集權制的新方法來幫助企業(yè)獲得保持競爭力所需的洞察力，那么會怎樣?
對于許多企業(yè)來說，數(shù)據(jù)網(wǎng)格方法解決了他們面臨的挑戰(zhàn)。數(shù)據(jù)網(wǎng)格的核心是一種基于軟件工程的經過驗證和測試的原則的數(shù)據(jù)聯(lián)邦方法，許多企業(yè)已經將其應用于客戶旅程開發(fā)。
數(shù)據(jù)網(wǎng)格的三個原則
數(shù)據(jù)網(wǎng)格方法利用了現(xiàn)代軟件工程的三個核心原則：
域所有權
產品開發(fā)
自助軟件平臺
這些原則使數(shù)據(jù)解決方案的開發(fā)能夠聯(lián)合起來，從而可以更快地解鎖重要的更大的洞察力，從而使企業(yè)能夠實現(xiàn)業(yè)務價值。
?。?）域所有權
這采用了當前的域建模原則，并在模型上添加了數(shù)據(jù)覆蓋層。域模型是問題領域的關鍵概念/對象的可視化表示，是企業(yè)的最高級別。它分解一個企業(yè)，為業(yè)務功能和技術解決方案建立明確的所有權和邊界。這使得基于微服務的軟件工程方法能夠驅動自治和重用。
同樣的域模型可以在企業(yè)內部用于建立域數(shù)據(jù)集的所有權。每個數(shù)據(jù)集都應該屬于創(chuàng)建/生成數(shù)據(jù)的域。目的是讓每個數(shù)據(jù)集由單個域擁有，在需要的地方調整域模型以實現(xiàn)這一結果。
（2）產品開發(fā)
這表明，企業(yè)將數(shù)據(jù)視為產品，就像他們將客戶旅程視為產品一樣。
重點是客戶想做的工作，以及幫助他們做到這一點的最佳解決方案。產品團隊是一組具有多種技能的個人，他們將業(yè)務人員和技術人員聚集在一起，以盡可能地創(chuàng)造最佳的客戶結果。
將這一應用到數(shù)據(jù)中，意味著理解企業(yè)中不同的數(shù)據(jù)角色，包括客戶、內部業(yè)務用戶、其他工程團隊、B2B合作伙伴和監(jiān)管機構。這將有助于定義針對不同用戶組要做的工作，從而允許產品團隊專注于解決每個用戶組的挑戰(zhàn)。與域所有權相一致的產品開發(fā)將為數(shù)據(jù)集和用戶結果創(chuàng)建明確的問責結果，使團隊能夠保持步調一致。
（3）自助軟件平臺
數(shù)據(jù)的自助服務軟件平臺是實現(xiàn)數(shù)據(jù)網(wǎng)格方法交付結果所需的自主權和敏捷性的核心。在其核心，企業(yè)需要像云計算服務提供商一樣思考，并創(chuàng)建一個API驅動的自助數(shù)據(jù)平臺。該平臺需要提供三組功能，首先是存儲、數(shù)據(jù)庫、訪問控制等基礎基礎設施。工作流的工程工具，通過基礎設施如代碼和DevOps抽象出基礎設施的復雜性。最后，該平臺需要提供發(fā)現(xiàn)、法規(guī)遵循和監(jiān)視的中央管理功能。
實現(xiàn)數(shù)據(jù)網(wǎng)格的三個原則有助于消除大數(shù)據(jù)方法中固有的瓶頸。有了數(shù)據(jù)平臺，每個產品團隊都可以定義他們要做的數(shù)據(jù)工作，并根據(jù)對企業(yè)的價值釋放來確定不同用戶結果的優(yōu)先級。每個產品團隊都可以在分配給他們的投資預算范圍內自主快速地工作。
如何為成功做準備?
實現(xiàn)數(shù)據(jù)網(wǎng)格方法需要將領域建模和產品開發(fā)作為正常軟件工程生命周期的一部分。成功地實現(xiàn)領域所有權和產品開發(fā)影響人員、技能和企業(yè)設計，這需要從高級利益相關者那里購買才能成功地實現(xiàn)。
許多企業(yè)已經在以這種方式對他們的企業(yè)進行改造，將數(shù)據(jù)網(wǎng)格方法作為更廣泛的改造的一部分應該會減少實現(xiàn)數(shù)據(jù)網(wǎng)格所涉及的總體工作和成本。如果企業(yè)已經改變了他們的運營模型，那么數(shù)據(jù)網(wǎng)格方法是合乎邏輯的下一步，它可以從模型中獲得更多的價值，并緩解大數(shù)據(jù)方法中固有的許多挑戰(zhàn)。
成功實現(xiàn)數(shù)據(jù)網(wǎng)格的另一個關鍵因素是確保正確設置自助服務數(shù)據(jù)平臺。這需要一些預先的思考來定義平臺所需的功能、架構、團隊技能和結構，以實現(xiàn)產品團隊的自主權。它還需要一個理解自助服務平臺的愿景并擁有實現(xiàn)它所需技能的團隊。
最后，建議從小處開始。創(chuàng)建一個MVP自助服務平臺，使一小組非關鍵數(shù)據(jù)集能夠在企業(yè)環(huán)境中證明技術和操作模型。
大數(shù)據(jù)是靈丹妙藥嗎?
數(shù)據(jù)網(wǎng)格可以通過在更廣泛的利益相關方之間驅動更高級別的自治和數(shù)據(jù)工程聯(lián)盟，克服大數(shù)據(jù)中固有的許多挑戰(zhàn)。然而，大數(shù)據(jù)并不是一種靈丹妙藥，它為企業(yè)帶來了一系列需要管理的風險。
了解了數(shù)據(jù)網(wǎng)格方法所帶來的風險，制定了如何降低這些風險的計劃，選擇了支持自助服務平臺的正確架構和支持愿景的利益相關者，企業(yè)利用數(shù)據(jù)的能力就可以發(fā)生重大變化。
NeilMulholland自從2010年以來擔任EnterpriseBlueprint公司的首席架構師，自從20世紀90年代以來一直從事數(shù)字與集成架構工作。最近，他在幫助企業(yè)大規(guī)模采用敏捷方法方面發(fā)揮了重要作用，他關注的是架構和架構治理如何在這種環(huán)境中工作。
Neil認為，信任是通過展示專注于對客戶最重要的事情的能力來獲得的。理解客戶的需求，實現(xiàn)他們想要的結果，對于確定成功的解決方案和建立長期、互利的伙伴關系至關重要。
Neil通過非正式和正式的架構團隊指導為客戶的企業(yè)做出貢獻，幫助他們通過更好的解決方案和操作方法提高整個架構團隊的技能。他非常喜歡嘗試新技術，并學習如何最好地將其應用于解決客戶問題，但不喜歡在引入新技術時出現(xiàn)陡峭的學習曲線，因為這會延遲真正的采用。
來源：e-works