近日,工信部发布了《工业大数据发展指导意见(征求意见稿)》,并提出到2025年基本建成数据集聚共享、数据技术产品、数据融合应用到数据治理的大数据闭环,成为支持工业高质量发展的关键因素和创新引擎。
国家宏观政策的支持与引导,加之产业技术创新、数字应用普及等众多利好因素的影响,我国大数据产业发展迅猛,催生了包括数据采集、存储、计算等软硬件设备以及数据交易、数据分析及应用等新型服务。据相关数据显示,2018年我国大数据产业整体规模已达到4384.5亿元,预计到2021年将超过8000亿元,成为推动商业决策走向数字智能化,推动工业、农业等传统产业数字化转型升级,激发经济增长活力的新动能。
然而,目前市场上也存在一定的疑虑。随着大数据体量的日趋庞大,数据源质量问题也普遍存在,无效、劣质、冗余、过期等各类垃圾数据充斥,怎么保证筛选出高质量的数据源,从而保障大数据系统分析结果的精准性。“数据分析只是大数据项目工作中较少的一部分,往往前期的数据整理、筛选、清洗等准备工作更加繁重。”据中琛魔方大数据平台某负责人介绍。前期的准备工作不完善,后期的数据分析计算也将毫无用处,甚至影响企业对大数据的信任程度。
据悉,目前数据质量问题主要集中在数据源头、数据处理过程以及数据管理维护等层面。企业数据来源复杂多样,主要是由于缺乏统一的数据标准和规范所造成的。企业内部数据分散在各个部门,相互之间各自为战,形成信息孤岛,缺乏对数据需求的统筹管理。对此,中琛魔方负责人介绍,“我们建议企业应制定规范性的业务标准和定义,包括命名、业务定义、统计口径等,形成统一的企业数据管理机制。”
同时,数据治理问题还可能发生在包括数据创建、采集、传输、装载、计算、分析、存储等各个数据处理流程环节上。例如数据入库延迟、数据采集点不正确、编码转换错误、传输过程丢包、数据算法加载错误、数据可视化展示错误等问题。据介绍,为保障数据处理流程的高质量,中琛魔方大数据平台,集成了元数据管理、ETL数据管理、数据 采集、算法管理、标签管理等7大系统,采用模块化、拖曳式的便捷操作,从而最大程度上保障数据处理过程的安全有效,一站式帮助企业开展高效的数据治理和数据分析。
而在数据存储、管理及维护方面,中琛魔方一方面打造了信息安全管理系统,采用权限控制机制,支持企业内部不同的运营人员设置不同的访问、操作、数据使用、维护权限,帮助企业建立专门的数据质量管理机构,防止出现职权不明,管理缺失等情况;另一方面,中琛魔方还与企业联合开展相关培训,从数据规范制度、组织职责以及运营管理等方面切入,引导企业重视数据质量问题,共同承担数据治理职责。
目前,中琛魔方正积极与制造、金融、农业、零售、体育等传统产业客户开展深度的大数据合作。在保障数据高质量的前提下,联合企业开展企业管理、经营、市场等方面的数据价值挖掘,为企业精准决策提供支撑。
(责任编辑：mzcy898)
