大数据这一概念在近二十年来逐渐成为国家和相关业务部门主攻的重要课题。为了强化国家各级的政务部门大数据治理,国家电子政务主管部门和相关业务部门相机出台了多项大数据治理政策文件,围绕着安全、标准、共享、网络、法律等领域做了全方位部署。
大数据是新一轮信息技术革命与经济社会发展的产物之一,其映射出的云计算、物联网等新兴技术正在剧烈的影响着人们的生活习惯与认知。无论是社会的经济增长、技术的新兴变革、政府的高效管理还是信息化社会的安全检测,大数据都是其中的重要推动力。大数据已被认为是社会的第四生产要素,是驱动社会变革创新的第一动力,深刻而久远的改变着社会发展格局。
随着大数据格局的打开,其重要性日益凸显,伴随着政府、企业单位信息化的不断深入,数据治理也越来越趋向于规范化。数据治理就是对数据生命周期进行管理,主要包含了数据采集、清洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、数据标准、质量、安全、数据开发、数据价值、数据服务与应用等,数据治理也被称为数据资产管理,数据治理不仅能够消除数据的非标准性,实现数据质量的提升,还能够实现数据内外部的共享,发挥数据的资产价值。了解数据治理工具的发展变迁有利于我们去深入了解数据治理工具的重要性与未来发展趋势,对未来数据治理工作产生正向的指导性作用.
数据治理工具的演变大致经历了四个步骤,第一阶段是起步阶段,其体现是编码系统的兴起,例如MIS(管理信息系统-Management Information System);第二阶段是发展阶段,其体现是主数据的管理系统,例如ERP(企业资源计划-Enterprise Resource Planning);第三阶段是趋向于标准化发展的成熟阶段,其体现是标准化管理系统,例如智能工厂,智能车间等生产制造领域的系统;第四阶段是当前的数据治理的应用阶段,其体现是数据治理平台,例如大数据与工业互联网。
最早的数据治理往往集中在物料管理、进销存、PDM等信息系统。一些大型集团企业早期开发一些以发布主数据代码为主,或配合单一MIS系统应用为主的编码系统,这些事数据治理工具最早期的工具,确保MIS中各种编码的唯一性。物资编码管理系统通常由系统管理、接口管理、基础数据管理、物资编码管理、供应商编码管理、映射管理、统计查询等若干模块组成。通常采用B/S架构、C/S架构,JAVA技术,通过分发和订阅的形式发布数据。
在主数据管理时代出现了很多ERP系统产品,例如国外的SAP ERP、Oracle EBS,以及国内的用友U8、NC、金蝶K3等产品。最早的是外国ERP厂商推出的MDM产品,提供主数据管理解决方案来管理自身的主数据信息,通常包含数据的存储、整合、共享、质量和治理等功能,推动主数据管理的规范化、标准化,实现维护的集中与统一。
在智能工厂建设的兴起阶段,大数据的技术应用逐渐深入到生产制造的领域。智能制造系统也提出了集中集成、创新提升、共享服务、系统智能的更高需求。更加强调通过数据的标准化、规范化实现数据的集成与共享,消除各业务系统之间的信息隔断,打破信息孤岛现象。很多企业通过开源技术开发数据治理工具,采用微服务架构,满足MES、PLM等数据共享需求。
数据治理平台主要采用数据中台技术和微服务架构来提高数据的准确性、安全性、完整性,推进信息资源的共享与统一。为了更好的实现数据管理自动化,提高数据管理效率,更有许多企业提供数据治理服务,搭建一体化的数据治理与服务平台,架构出包含数据门户、数据地图、数据开发、数据模型、主数据管理、元数据等数据功能的数据治理产品。
从数据治理的发展过程至今,我们可以发现数据治理的重心逐渐转移至各个行业领域,而数据标准化与数据安全是每个阶段都在强调的课题,是数据治理阶段必须要保证的重要功能,而数据的集成与共享,打破业务系统的信息孤岛是数据治理要实现的重要目标。伴随着社会生产经营方式的不断进化与发展,数据治理将会深入涉及各个领域当中,而在数据治理的工具实施过程中,也应注意不能脱离生产与经营的根本需求,提高数据治理效率与效果,注重风险控制与外部监控要求,降低风险,保障安全,由此,才能实现企业的可持续发展。
参考文章:
数据工匠俱乐部-《数据治理平台工具的前世今生是怎样的》;
国脉电子政务网-《中国大数据治理模式创新及其发展路径研究》