日本加大在大数据相关领域研究投入 推进大数据研究发展

 ​       近年来，随着信息技术和人类生产生活交汇融合，全球数据呈现爆发增长、海量集聚的特点。作为信息化发展的新阶段，大数据对经济发展、社会秩序、国家治理、人民生活都将产生重大影响。为了推进大数据的研究和发展，日本政府、企业，甚至学校迅速加大在大数据软硬件及系统等相关领域的研究投入。据日本矢野经济研究所调查统计，日本国内大数据收集、存储、分析、应用等相关行业市场规模在2011年度约为1900亿日元（100日元约合5.9元人民币），2015年达4200亿日元，到2020年预计将超过1兆日元。

 第二届人工智能博览会4月4日至6日在东京国际展览中心举行。图为工作人员展示一款机器人。新华社发 

    政府参与 规划先行

    数据是新时代的石油，是21世纪最为珍贵的财产。日本政府在五年前发布了《创建最尖端IT国家宣言》，全面阐述了2013年至2020年间以发展开放公共数据和大数据为核心的国家战略，强调“提升日本竞争力，大数据应用不可或缺”。战略中包括了向民间开放公共数据、促进大数据的广泛应用等政策。为此，日本政府大量投资用于大数据研发，包括开发高速网络基础设施和试验高效的数据中心运营系统、数据分析应用项目，以此增加日本工业竞争力、拓展新行业。

    日本政府还带头使用大数据。建立推动大数据使用的工作环境是非常必要的，由此推出了电子政府，推动政府管理计算机化。日本政府还推出了专门的大数据网站，分门别类的各项数据来自于各政府部门和机构，同时向数据提供者和数据使用者开放。在网站中，还可以查询白皮书、地理空间信息、人群运动信息、预算和年终财务报告等各类数据。值得一提的是，网站还会定期公布案例，表彰用大数据为社会提供服务的机构。今年三月，网站表彰了防灾科学技术研究所，该研究所通过大数据网站，以地域社区为调查对象，与各地相关人员合作提供各种防灾手法与案例等的网络服务。

    日本政府虽然在一般网站公开了国家统计和地图等庞大的数据，但是由于表达术语、书写形式、文件格式不统一，以及地方自治体的数据匮乏，没有民间企业的相关信息，政府很难有效地为国内外企业商品开发以及服务质量的提升提供帮助。据日媒报道，日本政府希望通过统一数据的表达术语、书写形式、文件格式等，并积极和国际接轨，在2020年建立起能够涵盖美欧的全新门户型数据网站。

 5月26日，中国国际大数据产业博览会在贵州省贵阳市开幕。图为会场外的大数据标识。新华社发

    广泛应用 精心布局

    “谁掌握了数据，谁就掌握了主动权。”如今，世界各国都把推进经济数字化作为实现创新发展的重要动能，在技术研发、数据共享、安全保护等方面进行前瞻性布局。日本对大数据流通量进行了宏观的调查，涉及的内容为八种结构化数据，如客户数据、电子商务销售记录、健康保险理赔数据、气象数据等，以及九种非结构化数据，如电子医疗记录数据、诊断成像数据、访问连接数据等。调查结果显示，结构化数据是非结构化数据的3.3倍，从而说明真正体现大数据价值的非结构化大数据在日本尚未占据主流，同时也体现了日本当前互联网及电信领域具有应用大数据的数量优势。

    据日本相关调查显示，从数据存储量来看，最大的是商业，其次是服务业、建筑业、制造业、金融业。而从大数据应用效果来看，程度最高的是零售业，其次是道路交通、制造业、广告业、金融业。在日本的各行各业中，大数据应用的领先行业是零售业、制造业和金融业。具体来看，在零售业方面，日本自20世纪80年代中期开始推广POS机的使用，基于此的销售数据开始应用于商业配送和流通。随后的十年，日本的连锁便利店快速发展，对销售数据的需求进一步加深。进入21世纪后，积分卡等在日本开始普及，商家开始重视掌握个体顾客的购买行为，并通过数据分析应用于促销。2010年后，日本跨行业的积分卡、电子钱包开始发展，实现了跨行业、跨企业的数据共享。

    再如，在医疗行业方面，病历电子化以后，相关的检查结果、用药情况等都形成了大数据。一方面，去医院看病，避免了重复检查。另一方面，即便不去医院，医生也能根据数据库中的各种信息，为患者开药治疗疾病。医生根据相关数据，还可以预测患者将会罹患的疾病，及早预防，不至于等病入膏肓时才大量用药救人。利用大数据预测何种流行病正在肆虐，利用过去的感冒数据对近期的感冒状况进行分析，结合气温和湿度的变化预测将来感冒的流行情况……日本将大数据应用于医疗行业，在可预期的未来能有效降低医疗成本，从而削减因人口老龄化而带来的社会医疗负担。

    随着大数据不断发展，日本认识到大数据不仅包括收集到的结构化数据和非结构化数据，还应包括数据处理分析技术和专业人才培养，教育大数据应运而生。教育大数据包括教育中产生的过程数据和结果数据，以及通过分析这些数据为学生提供个性化教育服务。同时，随着近些年平板电脑等个人移动终端在教育中的广泛应用，进一步推动了日本教育大数据向个别化和自适应性的方向发展。纵观其发展特点，一是重视对数据的分析与应用，实现教育大数据实用化。二是企业、政府及学校三方联合推进教育大数据研究及相关产业发展，并在学校开展实践应用，以检测研究成果或产品服务的实用性，实现教育大数据体系化。三是重视跨学科融合，不仅局限于教育学等学科和计算机技术等，还融合了数据分析和数据挖掘相关学科，推动教育大数据发展全面化。

 4月23日，在德国汉诺威工业博览会上，一名参观者用虚拟现实设备体验新型物流系统。新华社发

    任重道远 挑战重重

    近年来，日本在大数据方面也存在着各种各样的问题。首先就是技术人才方面的挑战。大数据时代并不仅仅是数据多，而且数据类型也是多种多样，数据数量大但价值密度小。同时，大数据所体现出来的信息不一定是真实可靠的，人为因素的干涉会导致数据失真。这些非结构化或结构化的数据，使得传统的数据处理技术和设备已经不能满足大数据发展的要求。这便对数据分析能力提出了挑战，而且数据的实时变化，要保证数据的有效性就必须加快数据分析和应用的能力。解决大数据产生的各种问题，关键在于技术。而技术要想适应更高的发展要求，最根本的是解决人才短缺的问题。日本认识到，要想创造更大的价值，就需要拓展IT与管理人才的人力资源，使这些人才具备可开发使用大数据商业模式的能力。因此，专业技能人才短缺是日本大数据发展面临的直接挑战，未来这方面的人才需求量预计达25万人。

    其次，是日本大数据市场仍存壁垒。尽管日本政府带头起到了数据共享的表率作用，但仍然有很多日本企业，没有大数据的意识，认为数据是属于自己的，共享意愿不够。数据垄断使得企业间信息的不对称性进一步加大。大企业利用庞大的数据资源，获得巨大经济利益，形成了强者更强而弱者更弱的局面。例如，居民楼里电梯都需要定期检查、维护，而这些维护数据一般都掌握在电梯制造商手里，新企业如果想要加入竞争，在数据上势必存在劣势，竞争力也就明显被削弱，造成不公平性。同时，还有企业通过不当手段收集并存储数据，对数据进行不当的垄断、“圈占”，妨碍正常数据市场竞争。个别企业通过自身的数据优势，来影响市场公平。

最后，就是大数据的安全性有待提升。一方面，是如何保证数据的安全性。因为数据过于集中，一旦被黑客攻击，可能会产生毁灭性后果。据日本警视厅统计，在2010年至2015年间，仅针对东京市内大企业的安全攻击次数就增长四成以上，年平均经济损失约1000亿日元。另一方面，如何界定哪些个人数据可以被获取，被获取后如何使用、如何保证安全性是面临的另一大挑战。众所周知，由于日本的不婚率不断攀升，多地政府为促进单身男女步入婚姻殿堂出谋划策。2015年3月，受爱媛县政府支持的一家婚姻促进中心开始利用大数据对注册会员的个人情况和学历背景等基本信息进行匹配。这一大数据系统收集的信息广泛，包括会员参与过的相亲活动、网页浏览历史等，从而通过分析个人喜好帮助单身男女寻找合适的相亲对象。有反对声音认为，这种方式可能会被视为将特定的婚姻观强加于民众，生活观念应取决于个人，而不是通过数据来体现。日本民众对于数据这样的个人隐私也极为敏感，兵库县某婚介所也试图通过此方式进行婚介，但是考虑到个人隐私等问题，注册会员数仅百余人。（来源：光明日报  记者 张冠楠）