簡介《主數(shù)據(jù)管理實踐白皮書2.0》由中國信通院云計算與大數(shù)據(jù)研究所牽頭聯(lián)合多家企業(yè)于2023年數(shù)據(jù)資產(chǎn)管理大會發(fā)布面向數(shù)據(jù)治理從業(yè)者、企業(yè)數(shù)據(jù)架構(gòu)師與主數(shù)據(jù)項目負(fù)責(zé)人。白皮書沿用1.0版主體結(jié)構(gòu)重點新增各行業(yè)主數(shù)據(jù)實踐、管理模式與管理策略系統(tǒng)梳理主數(shù)據(jù)定義、特點及其與元數(shù)據(jù)、明細(xì)數(shù)據(jù)、參考數(shù)據(jù)的關(guān)系并覆蓋裝備制造、能源化工、金融、通信、地產(chǎn)、政府機(jī)構(gòu)等行業(yè)的落地案例。資源包內(nèi)含1個PDF文件大小約4.47MB內(nèi)容涵蓋主數(shù)據(jù)識別、標(biāo)準(zhǔn)規(guī)范、管理制度、管理平臺九大功能模塊與應(yīng)用模式以及成功要素、常見誤區(qū)與未來展望可幫助讀者建立從概念到落地的完整認(rèn)知框架。目前已有252人學(xué)習(xí)適合作為企業(yè)主數(shù)據(jù)體系規(guī)劃與實施參考。1. 主數(shù)據(jù)管理為什么“一物一碼”比建一個大系統(tǒng)更難很多團(tuán)隊第一次做數(shù)據(jù)治理都會本能地認(rèn)為最難的環(huán)節(jié)是搭平臺、接系統(tǒng)、寫接口。但真正讓項目翻車的往往是一個看起來極其樸素的問題同一個客戶在五個系統(tǒng)里有五個編號到底以哪個為準(zhǔn)《主數(shù)據(jù)管理實踐白皮書2.0》給出的答案很直接——主數(shù)據(jù)的核心不是“把數(shù)據(jù)集中起來”而是讓跨系統(tǒng)的業(yè)務(wù)實體達(dá)成“信息對稱”做到一實體一編碼如一物一碼、一客一碼、一人一碼。這件事聽起來像命名規(guī)范實際上是組織協(xié)同、編碼體系、生命周期管理三件事疊在一起。搞懂它才能理解為什么主數(shù)據(jù)管理被視作數(shù)據(jù)資產(chǎn)體系里最難啃、也最值錢的一塊。2. 主數(shù)據(jù)的邊界它到底“主”在哪里2.1 從定義反推主數(shù)據(jù)是“最大公約數(shù)據(jù)”白皮書對主數(shù)據(jù)的定義是滿足組織跨部門業(yè)務(wù)協(xié)同需要的、反映核心業(yè)務(wù)實體狀態(tài)屬性的基礎(chǔ)信息。這句話里有兩個限定詞特別關(guān)鍵——“跨部門業(yè)務(wù)協(xié)同需要”和“核心業(yè)務(wù)實體狀態(tài)屬性”。前者排除了部門內(nèi)部自娛自樂的數(shù)據(jù)后者排除了流水、日志、賬單這類描述“發(fā)生了什么”的數(shù)據(jù)。由此推出主數(shù)據(jù)的五個“跨越”特征跨越部門、跨越業(yè)務(wù)、跨越流程、跨越系統(tǒng)、跨越技術(shù)。這五個跨越不是并列關(guān)系而是層層遞進(jìn)的約束?？缭讲块T是業(yè)務(wù)前提跨越業(yè)務(wù)是范圍前提跨越流程是穩(wěn)定性前提跨越系統(tǒng)是技術(shù)前提跨越技術(shù)則是兼容性前提。一個數(shù)據(jù)對象要同時滿足這五條才夠格進(jìn)入主數(shù)據(jù)范圍。常見的誤判是把“重要數(shù)據(jù)”等同于“主數(shù)據(jù)”。一份年度經(jīng)營分析報告很重要但它不是主數(shù)據(jù)因為它不參與跨系統(tǒng)業(yè)務(wù)協(xié)同。反過來一個物料的基礎(chǔ)描述信息看起來不起眼但它在 PDM、CAPP、MES、ERP 之間被反復(fù)引用它就是主數(shù)據(jù)。2.2 主數(shù)據(jù)、元數(shù)據(jù)、明細(xì)數(shù)據(jù)、參考數(shù)據(jù)的四角關(guān)系白皮書專門用一節(jié)厘清主數(shù)據(jù)與另外三類數(shù)據(jù)的關(guān)系因為這是實踐中最容易混淆的地方。主數(shù)據(jù)與元數(shù)據(jù)的關(guān)系可以理解為“內(nèi)容”與“說明書”。元數(shù)據(jù)描述主數(shù)據(jù)的名稱、類型、來源、創(chuàng)建日期等屬性幫助理解主數(shù)據(jù)主數(shù)據(jù)則是實際的業(yè)務(wù)實體信息。兩者相輔相成但元數(shù)據(jù)本身不是主數(shù)據(jù)。主數(shù)據(jù)與明細(xì)數(shù)據(jù)的關(guān)系白皮書用了一個很精準(zhǔn)的類比名詞與動詞。主數(shù)據(jù)捕獲的是“物品中文名稱”“企業(yè)注冊資金”這類相對穩(wěn)定的名詞性信息明細(xì)數(shù)據(jù)捕獲的是物流運輸數(shù)據(jù)、傳感器數(shù)據(jù)、客戶訂單這類實時變化的動詞性信息。這個區(qū)分直接決定了存儲策略——主數(shù)據(jù)適合集中管理、廣播同步明細(xì)數(shù)據(jù)適合分區(qū)存儲、按時間窗口查詢。主數(shù)據(jù)與參考數(shù)據(jù)的關(guān)系更微妙。參考數(shù)據(jù)是定義其他數(shù)據(jù)字段允許值的數(shù)據(jù)集合本質(zhì)上是數(shù)據(jù)字典。白皮書指出參考數(shù)據(jù)是主數(shù)據(jù)的一種特殊子集兩者都為主數(shù)據(jù)提供上下文語境。但在實現(xiàn)層面參考數(shù)據(jù)通常以碼表形式存在變更頻率極低主數(shù)據(jù)則有自己的生命周期會經(jīng)歷申請、校驗、審核、發(fā)布、維護(hù)、變更、停用等環(huán)節(jié)。2.3 識別方法UC 矩陣如何把“感覺”變成“證據(jù)”主數(shù)據(jù)對象識別不能靠拍腦袋。白皮書給出的判定標(biāo)準(zhǔn)是三條同時滿足核心對象、基礎(chǔ)數(shù)據(jù)、重復(fù)使用。但“核心”和“基礎(chǔ)”都是定性判斷真正落地時需要定量工具。UC 矩陣就是這樣一個工具。U 代表 Use使用C 代表 Create產(chǎn)生。對每一類數(shù)據(jù)列出它在各個系統(tǒng)中的使用和產(chǎn)生情況就能看出這類數(shù)據(jù)由多少個源頭創(chuàng)建、被多少個系統(tǒng)共享。如果一個數(shù)據(jù)對象在多個系統(tǒng)中被使用多個 U但只有一個系統(tǒng)負(fù)責(zé)創(chuàng)建單個 C它就是一個典型的主數(shù)據(jù)候選——因為多系統(tǒng)使用意味著共享需求單源頭創(chuàng)建意味著可以建立權(quán)威源。白皮書給出的金融行業(yè)示例中客戶數(shù)據(jù)在核心系統(tǒng)、人力資源系統(tǒng)、信用卡系統(tǒng)、零售信貸系統(tǒng)、機(jī)構(gòu)管理信息系統(tǒng)中均有使用但創(chuàng)建源頭集中在 ECIF 系統(tǒng)。這種“多 U 單 C”的模式就是主數(shù)據(jù)管理的理想切入點。反過來如果一類數(shù)據(jù)在多個系統(tǒng)中既有多個 U 又有多個 C說明源頭分散需要先做源頭治理再納入主數(shù)據(jù)管理。3. 主數(shù)據(jù)標(biāo)準(zhǔn)體系編碼、分類、模型、質(zhì)量安全四層拆解3.1 編碼規(guī)范唯一標(biāo)識的工程實現(xiàn)編碼規(guī)范是主數(shù)據(jù)標(biāo)準(zhǔn)的第一層包含編碼規(guī)則、編碼結(jié)構(gòu)、編碼字典三部分。編碼規(guī)則定義如何生成唯一編碼比如用數(shù)字、字母或組合編碼結(jié)構(gòu)定義編碼的組成部分及其關(guān)系編碼字典提供編碼的含義解釋。這里有一個容易被忽視的設(shè)計取舍編碼是“無含義”還是“有含義”。有含義編碼如用前兩位表示大類、中間四位表示順序號便于人工識別但一旦分類體系調(diào)整編碼就會失效。無含義編碼如純流水號或 UUID穩(wěn)定性好但失去了自解釋能力。白皮書的立場是編碼規(guī)范要服務(wù)于“一實體一編碼”的唯一性目標(biāo)具體采用哪種策略取決于組織的分類體系穩(wěn)定程度。另一個關(guān)鍵約束是編碼的不可復(fù)用性。一個物料編碼在物料停用后不應(yīng)被分配給新物料否則歷史數(shù)據(jù)追溯會出現(xiàn)歧義。這需要在編碼管理模塊中實現(xiàn)“編碼凍結(jié)”機(jī)制。3.2 分類體系與描述規(guī)范讓機(jī)器和人都能理解分類體系包含分類方法、分類層次、分類字典。分類方法定義按什么維度分類業(yè)務(wù)領(lǐng)域、數(shù)據(jù)類型、數(shù)據(jù)來源分類層次定義層級結(jié)構(gòu)分類字典提供分類的含義解釋。描述與表達(dá)規(guī)范即主數(shù)據(jù)模型包含主數(shù)據(jù)定義、數(shù)據(jù)格式、數(shù)據(jù)值范圍、數(shù)據(jù)字典、數(shù)據(jù)關(guān)系五個要素。其中數(shù)據(jù)關(guān)系描述主數(shù)據(jù)之間的主鍵、外鍵、參照關(guān)系這是主數(shù)據(jù)建模中最復(fù)雜的部分。比如“客戶”與“賬戶”之間是一對多關(guān)系“物料”與“物料分類”之間是多對一關(guān)系。這些關(guān)系不僅影響數(shù)據(jù)模型設(shè)計還決定了主數(shù)據(jù)集成時的校驗規(guī)則。3.3 質(zhì)量與安全規(guī)范標(biāo)準(zhǔn)體系的兜底質(zhì)量規(guī)范規(guī)定主數(shù)據(jù)的準(zhǔn)確性、完整性、一致性、可用性要求。安全規(guī)范規(guī)定訪問控制、加密、備份要求。這兩類規(guī)范通常以校驗規(guī)則和權(quán)限策略的形式嵌入主數(shù)據(jù)管理平臺。一個常見的實現(xiàn)思路是在數(shù)據(jù)錄入環(huán)節(jié)做格式校驗和值域校驗在數(shù)據(jù)審核環(huán)節(jié)做唯一性校驗和關(guān)聯(lián)校驗在數(shù)據(jù)發(fā)布環(huán)節(jié)做完整性校驗。三層校驗對應(yīng)三個不同的質(zhì)量維度任何一層失敗都會阻斷流程并觸發(fā)告警。4. 主數(shù)據(jù)管理平臺九個模塊的職責(zé)邊界與協(xié)作機(jī)制4.1 從標(biāo)準(zhǔn)管理到集成管理數(shù)據(jù)如何流動主數(shù)據(jù)管理平臺通常包含九個功能模塊標(biāo)準(zhǔn)管理、編碼管理、建模管理、生命周期管理、集成管理、質(zhì)量管理、安全管理、工作流程管理、用戶權(quán)限管理。這九個模塊不是并列的功能清單而是一條數(shù)據(jù)流水線上的不同工位。標(biāo)準(zhǔn)管理模塊維護(hù)編碼規(guī)范、分類體系、描述規(guī)范、質(zhì)量安全規(guī)范是整個平臺的“立法機(jī)構(gòu)”。編碼管理模塊根據(jù)編碼規(guī)則生成唯一編碼是“發(fā)證機(jī)構(gòu)”。建模管理模塊定義主數(shù)據(jù)模型和關(guān)系是“規(guī)劃機(jī)構(gòu)”。生命周期管理模塊管理數(shù)據(jù)從申請到停用的全過程是“運營機(jī)構(gòu)”。集成管理模塊負(fù)責(zé)與各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)同步是“外交機(jī)構(gòu)”。質(zhì)量管理模塊執(zhí)行校驗規(guī)則安全管理模塊控制訪問權(quán)限工作流程管理模塊驅(qū)動審批流轉(zhuǎn)用戶權(quán)限管理模塊定義角色和職責(zé)。4.2 生命周期管理狀態(tài)機(jī)是核心主數(shù)據(jù)的生命周期管理本質(zhì)上是一個狀態(tài)機(jī)。典型狀態(tài)包括草稿、待審核、已發(fā)布、已變更、已停用。每個狀態(tài)之間的遷移由工作流程驅(qū)動遷移條件由質(zhì)量規(guī)則和安全規(guī)則約束。以客戶主數(shù)據(jù)為例業(yè)務(wù)人員在渠道系統(tǒng)發(fā)起客戶創(chuàng)建申請數(shù)據(jù)進(jìn)入草稿狀態(tài)提交后進(jìn)入待審核狀態(tài)工作流程引擎根據(jù)客戶類型和歸屬機(jī)構(gòu)路由到相應(yīng)審核人審核通過后進(jìn)入已發(fā)布狀態(tài)集成管理模塊將客戶數(shù)據(jù)廣播到訂閱系統(tǒng)后續(xù)變更觸發(fā)已變更狀態(tài)重新走審核流程客戶關(guān)系終止后進(jìn)入已停用狀態(tài)但數(shù)據(jù)保留以供歷史查詢。這個狀態(tài)機(jī)的關(guān)鍵設(shè)計點是狀態(tài)遷移必須由事件驅(qū)動不能由人工直接修改狀態(tài)字段。否則生命周期管理就退化成了一個普通的狀態(tài)字段失去了管控意義。4.3 集成管理集中式、聯(lián)邦式、分析式三種應(yīng)用模式白皮書在“主數(shù)據(jù)應(yīng)用”部分給出了三種模式集中式應(yīng)用、聯(lián)邦式應(yīng)用、分析式應(yīng)用。集中式應(yīng)用是最徹底的方案所有系統(tǒng)的主數(shù)據(jù)讀寫都通過主數(shù)據(jù)管理平臺進(jìn)行平臺是唯一權(quán)威源。這種模式一致性最好但對平臺的可用性和性能要求極高且需要對源頭系統(tǒng)做較大改造。聯(lián)邦式應(yīng)用是一種折中主數(shù)據(jù)管理平臺負(fù)責(zé)編碼和核心屬性的管理各系統(tǒng)保留自己的擴(kuò)展屬性通過訂閱機(jī)制同步核心屬性。這種模式對現(xiàn)有系統(tǒng)侵入性小但需要處理核心屬性與擴(kuò)展屬性的一致性問題。分析式應(yīng)用面向數(shù)據(jù)分析場景主數(shù)據(jù)管理平臺不直接介入業(yè)務(wù)系統(tǒng)的交易流程而是為數(shù)據(jù)倉庫和分析平臺提供標(biāo)準(zhǔn)化的主數(shù)據(jù)視圖。這種模式適合主數(shù)據(jù)管理起步階段先解決分析場景的數(shù)據(jù)一致性問題再逐步向業(yè)務(wù)系統(tǒng)滲透。4.4 質(zhì)量管理與安全管理規(guī)則引擎與權(quán)限模型質(zhì)量管理模塊的核心是規(guī)則引擎。規(guī)則分為三類格式規(guī)則數(shù)據(jù)類型、長度、精度、值域規(guī)則枚舉值、范圍、關(guān)聯(lián)規(guī)則外鍵存在性、唯一性。規(guī)則引擎在數(shù)據(jù)錄入、審核、發(fā)布三個環(huán)節(jié)執(zhí)行校驗校驗結(jié)果記錄在質(zhì)量日志中。安全管理模塊的核心是權(quán)限模型。主數(shù)據(jù)的權(quán)限通常按“數(shù)據(jù)對象 × 操作類型 × 組織范圍”三個維度定義。比如某用戶對客戶主數(shù)據(jù)有查看權(quán)限但只能查看歸屬本機(jī)構(gòu)的客戶某用戶對物料主數(shù)據(jù)有編輯權(quán)限但只能編輯特定分類下的物料。這種三維權(quán)限模型需要在數(shù)據(jù)模型設(shè)計階段就預(yù)留組織字段和分類字段。5. 避坑指南主數(shù)據(jù)管理中最容易踩的五個坑5.1 坑一主數(shù)據(jù)管理無法貫穿源頭系統(tǒng)現(xiàn)象主數(shù)據(jù)管理平臺上線后各業(yè)務(wù)系統(tǒng)仍然在本地創(chuàng)建主數(shù)據(jù)平臺數(shù)據(jù)與業(yè)務(wù)系統(tǒng)數(shù)據(jù)不一致。原因主數(shù)據(jù)管理只覆蓋了管理流程沒有嵌入業(yè)務(wù)系統(tǒng)的創(chuàng)建入口。業(yè)務(wù)人員為了操作方便繞過平臺直接在本地系統(tǒng)創(chuàng)建數(shù)據(jù)。解決在源頭系統(tǒng)的創(chuàng)建界面嵌入主數(shù)據(jù)平臺的校驗接口或者通過工作流將創(chuàng)建申請強(qiáng)制路由到主數(shù)據(jù)平臺。白皮書強(qiáng)調(diào)“主數(shù)據(jù)管理要覆蓋數(shù)據(jù)的申請、校驗、審核、發(fā)布、維護(hù)、變更、停用等環(huán)節(jié)”源頭管控是第一步。5.2 坑二混淆業(yè)務(wù)實體數(shù)據(jù)和主數(shù)據(jù)范圍現(xiàn)象把交易數(shù)據(jù)、賬單數(shù)據(jù)也納入主數(shù)據(jù)管理導(dǎo)致平臺數(shù)據(jù)量膨脹性能下降。原因沒有嚴(yán)格按“跨部門業(yè)務(wù)協(xié)同需要”和“核心業(yè)務(wù)實體狀態(tài)屬性”兩個標(biāo)準(zhǔn)篩選主數(shù)據(jù)對象。解決用 UC 矩陣做定量分析只把“多 U 單 C”的數(shù)據(jù)對象納入主數(shù)據(jù)范圍。交易數(shù)據(jù)、賬單數(shù)據(jù)屬于明細(xì)數(shù)據(jù)應(yīng)留在業(yè)務(wù)系統(tǒng)中。5.3 坑三同時維護(hù)多套主數(shù)據(jù)編碼體系現(xiàn)象集團(tuán)有一套編碼各子公司又各自維護(hù)一套編碼數(shù)據(jù)交換時需要做編碼映射。原因集團(tuán)管控力度不足或者歷史遺留系統(tǒng)改造困難。解決白皮書明確指出“組織內(nèi)主數(shù)據(jù)編碼沿用外部編碼”是一個誤區(qū)。正確做法是建立集團(tuán)統(tǒng)一的編碼體系子公司通過映射表與集團(tuán)編碼對接但映射表只用于過渡期最終目標(biāo)是統(tǒng)一編碼。5.4 坑四將主數(shù)據(jù)作為孤立項目推行現(xiàn)象主數(shù)據(jù)管理項目由 IT 部門主導(dǎo)業(yè)務(wù)部門參與度低數(shù)據(jù)標(biāo)準(zhǔn)推行不下去。原因主數(shù)據(jù)管理本質(zhì)上是跨部門協(xié)同問題不是純技術(shù)問題。沒有業(yè)務(wù)部門的深度參與和認(rèn)責(zé)標(biāo)準(zhǔn)就是空中樓閣。解決白皮書將“業(yè)務(wù)方深度參與和認(rèn)責(zé)”列為成功要素之一。主數(shù)據(jù)管理項目需要高層領(lǐng)導(dǎo)支持需要業(yè)務(wù)部門指定數(shù)據(jù) owner需要將主數(shù)據(jù)管理納入績效考核。5.5 坑五忽視主數(shù)據(jù)的長期性和擴(kuò)展性現(xiàn)象主數(shù)據(jù)模型設(shè)計時只考慮當(dāng)前業(yè)務(wù)需求后續(xù)業(yè)務(wù)擴(kuò)展時需要頻繁修改模型。原因沒有預(yù)留擴(kuò)展字段或者擴(kuò)展字段設(shè)計不合理。解決在數(shù)據(jù)模型設(shè)計階段預(yù)留擴(kuò)展屬性區(qū)但擴(kuò)展屬性不應(yīng)影響核心屬性的穩(wěn)定性。核心屬性變更需要走嚴(yán)格的審批流程擴(kuò)展屬性可以相對靈活。6. 從行業(yè)實踐看設(shè)計取舍沒有最優(yōu)解只有最適配白皮書用大量篇幅描述裝備制造、能源化工、金融、通信、地產(chǎn)、政府機(jī)構(gòu)六個行業(yè)的主數(shù)據(jù)管理實踐這些實踐的共同點是沒有一種模式適用于所有組織。裝備制造行業(yè)的兩級部署模式集團(tuán)集中管控 成員單位多方接入適合多業(yè)態(tài)集團(tuán)金融行業(yè)的 ECIF 中心化模式適合客戶數(shù)據(jù)高度集中的場景能源化工行業(yè)的強(qiáng)管控與弱管控并存模式反映了集團(tuán)管控力度的差異通信行業(yè)的注冊、審批、報備三種管理方法對應(yīng)不同穩(wěn)定性和業(yè)務(wù)影響程度的主數(shù)據(jù)對象。這些行業(yè)實踐背后是一個核心設(shè)計取舍管控力度與業(yè)務(wù)靈活性的平衡。管控力度越強(qiáng)數(shù)據(jù)一致性越好但對業(yè)務(wù)系統(tǒng)的侵入性越大實施周期越長。管控力度越弱業(yè)務(wù)靈活性越高但數(shù)據(jù)一致性風(fēng)險越大后續(xù)治理成本越高。白皮書給出的策略是“合適的主數(shù)據(jù)管理模式”是成功要素之一。這意味著組織需要根據(jù)自身的管理成熟度、業(yè)務(wù)復(fù)雜度、IT 架構(gòu)現(xiàn)狀來選擇模式而不是盲目追求“大集中”。從技術(shù)實現(xiàn)角度看這個取舍體現(xiàn)在三個層面數(shù)據(jù)模型層面核心屬性與擴(kuò)展屬性的劃分集成層面集中式、聯(lián)邦式、分析式的選擇流程層面審批節(jié)點的設(shè)置和權(quán)限范圍的劃定。每個層面都需要在一致性和靈活性之間找到平衡點。我一般會這么理解主數(shù)據(jù)管理不是要把所有數(shù)據(jù)都管起來而是要把那些“不管就會出大問題”的數(shù)據(jù)管起來。管得太多業(yè)務(wù)受不了管得太少數(shù)據(jù)一致性保不住。這個度的把握才是主數(shù)據(jù)管理真正的難點。從那以后我每次評估主數(shù)據(jù)管理方案都會先問三個問題哪些數(shù)據(jù)對象是“多 U 單 C”的源頭系統(tǒng)的改造代價有多大業(yè)務(wù)部門愿意認(rèn)責(zé)到什么程度這三個問題的答案基本決定了方案的設(shè)計方向。希望幫到你。本文還有配套的精品資源點擊獲取