3、大数据的关键技术1.分布式存储系统(HDFS)。2.MapReduce分布式计算框架。3.YARN资源管理平台。4.Sqoop数据迁移工具。5.Mahout数据挖掘算法库。6.HBase分布式数据库。7.Zookeeper分布式协调服务。8.Hive基于Hadoop的数据仓库。9.Flume日志收集工具。

政府数据的开放与共享，如何真正实现三方共赢？

促进政府数据开放共享，加速社会信息化进程 在今年的8月8日“2019上海开放数据论坛”上，南方都市报大数据研究院发布了《政府数据开放准备度》报告。报告表明，各地涉及政府数据开放进步明显，其中广东、上海等省份是“先行者”，无论是政府数据开放的政策总量、针对性政策的出台，还是政策内容举措创新都领跑全国。但现阶段政府数据开放路径、办法尚未统一、明晰，各地政府工作理念和工作重心仍有差异。报告指出，政府部门亟须掌握需求行为的变化规律，推动数据开放真正实现从政府供给导向向公众需求导向转变。报告提出的具体措施如下：

第一，依托数字云平台建设城市大数据资源中心，把数据中心作为政务数据资源管理的基础平台。第二，各政府部门应当依托数字云平台统一提供的计算、存储、管理、安全等云服务，实施本部门非涉密政务信息系统的建设和运行维护，已经建成的非涉密政务信息系统，应当充分整合，并迁入数字云平台。第三，各政务部门应当按照一数一源、一源多用的原则依据责任清单采集政务数据，并按照政务数据汇集规范对政务数据进行筛选、清洗、加工，汇聚成部门政务数据资源池。第四，做好政务数据开放工作。可以提供给所有公民、法人和其他组织使用的政务数据资源属于无条件开放类；可以部分提供或者需要按照特定条件提供给公民、法人和其他组织的政务数据资源属于有条件开放类；涉及国家机密、商业秘密、个人隐私和国家安全，以及其他不宜提供给公民、法人和其他组织的政务数据资源属于不予开放类。不言而喻，在当下社会的信息化进程中，政府数据的开放与共享对于个人、企业、政府本身有重大意义：

一、有利于于个人获取信息。公共机构数据资源统一汇聚和集中向社会开放，提升数据开放共享标准化程度，有利于群众了解信用、交通、医疗、卫生、就业、社会、文化、教育、养老等民生保障服务相关领域的政府信息，最终为生活提供便利。

二、有利于推进商事服务便捷化。建立项目并联合审批平台，形成网上审批大数据资源库，实现跨部门、跨层级项目审批、核准、备案的统一受理、同步审查、信息共享、透明公开。鼓励政府部门高效快捷、有效整合并充分运用政府数据和社会数据，掌握企业需求，推动行政管理流程化再造，在注册登记、市场准入等商事服务中提供更加便捷有效、更有针对性的服务三、提升政府治理水平，促进政府职能转型。借助大数据开放共享实现政府负面清单、权利清单和责任清单的透明化管理，完善大数据监督和技术反腐体系，促进政府简政放权、依法行政。但是，政府在实行数据开放制度的过程中，仍然存在不少不问题：

一、数据基础不牢，缺乏高质量的政府数据体系。数据开放前，没有高质量的数据平台，数据格式多，不统一，不兼容，易造成“数据孤岛”，降低政府数据的利用率。

二、数据质量问题。数据采集时，数据质量是核心保障，但是数据出处不明确、产权归属不清晰、数据维护不及时、政府部门横向、纵向数据汇集产生不同程度的交叉重复。

三、信息安全问题。数据开放后，容易泄露个人隐私和导致敏感数据的产生，数据保障工作不到位。

为此，政府应遵循事前事中事后的原则处理数据开放共享问题：

第一、建设统一平台，统一技术标准，减少数据格式转换，促进各部门的数据资源高效共享。

第二、保障数据质量。在数据生产和收集阶段，要实现跨部门、跨机构的数据整合分析，从源头上保证数据质量。数据开放要求明确数据的出处：由谁创建、数据来源于何处，从而明确数据责任主体。

第三、重视制度的顶层设计。针对法律风险因素，健全政务数据开放、部门信息共享和知识产权保护等相关法律制度，明确数据的范围边界和使用方式，界定清晰各部门数据管理共享的义务和权利，明确个人、法人和社会组织使用数据的相关规范；贯彻执行落实数据开放共享制度，务必做到“科学立法，严格执法”，杜绝执法过程中“宽、松、软”问题；建立可行长效的奖惩机制，充分体现制度执行的效果。

中国的政府数据开放正从起步走向快速发展的阶段，数据开放与共享的种子早已生根发芽，现正茁壮成长，我衷心希望它能蔚然成林，成为中国的信息化的有力推进剂。