针对业务系统海量数据的瞬时精确分析多个数据库的需求,NEC表示已开发出相应的“自动化预测分析技术”,能在业务系统的关系数据库海量数据预测分析流程中实现全程自动化,将过去需要2~3个月才能完成的工作量在精度不变情况下缩短至一天。
新技术是NEC旗下人工智能(AI)技术群“NEC the WISE”的最新成员。该公司表示,过去在分析由多个数据库构成的关系数据库时,需要数据分析专家找出数据库之间的复杂关系和相关性,需要耗费很多工时去通过机器学习调整预测模型等。但是由于可以熟练分析数据的专家资源的稀缺,所以在应对急剧增长的高度数据分析需求时,为了迅速地进行海量数据分析,就需要即便不是专家也可以轻易掌握的精确分析手段。
现今,企业都希望能够第一时间精确把握在多变的事业环境下各种客户的需求,并反映到企业的经营举措中去。通过分析企业积累的庞大数据来发现/创造新的价值,大大影响企业的发展。另一方面,数据分析专家的全球性短缺和海量数据分析需求的急剧增长的矛盾,使得快速分析数据成为一个亟待解决的课题。
2012年NEC开发出了可发现混杂在大数据中的规律的分析手法“异构混合学习技术”,近年来则将开发重心转移到自动化预测分析领域,将资深数据分析专家的高度人工操作(发现数据关联性、从抽取并设计特征值到构建分析模型)进行精确地自动化,并于2015年开发出数据分析的前期处理技术“特征值自动设计技术等。
本次发布的“自动化预测分析技术”是在以往技术的基础上的升级,可以全自动地对关系数据库的海量数据进行分析预测。新的自动化预测分析技术可实现从抽取/设计有效数据项目(特征值)到构建最佳预测模型的一系列流程的自动化。因此即便不具备高度的数据分析能力,也可以快速精准地做出与数据分析专家一样或更高水准的预测分析。
新的技术在数据分析流程方面加强了“特征值自动设计技术”,能够从关系数据库中自动发现特征值,并强化了2015年发布的“特征值自动设计技术”,从业务系统中常用的关系数据库中自动设计特征值。
通常公司的重要经营信息会被分为多个表,存储在关系数据库系统中。而AI技术则可以从多个要分析的关系数据库中,快速搜索并发现假设的有效数据的排列组合自(特征值),其中必不可少的海量搜索请求的生成也是系统自动完成的。
因此,不需要依赖于分析经验及相关知识的假设和计划,也不需要操作数据生成特征值的大量作业,从而大幅缩短分析时间和节省分析人力。此外,机器作业远远超越人工的速度,可以在短时内搜索大量假设,所以有分析结果精准化、能够发现人注意不到的新知识等优势。
另外,通过“预测模型自动设计”技术,新的自动化预测分析技术可以从多个模型中自动选择最佳模型。除了基于特征值数据的“异构混合学习”技术,用户还可从基于逻辑回归及决策树等各种机械学习手法的大量预测模型中,选择或者组合可导出目标分析结果的最佳预测模型。另外,关于预测模型计算出的预测值,还会提供预测依据(为什么得出这样的预测结果)。由于可掌握预测依据,用户可以在根据情况做出适宜的计划和判断时更加有理有据。
新的分析工具搭配了人性化的GUI(图形用户界面),操作者只需要按照提示画面进行相应的操作,就可以简单快速地完成过去需要花费很多工时的数据特征值探索与预测模型构建工作。因此即便不具备很专业的数据分析能力也可以在短时间内做出与分析专家同等或更高水平的精确预测分析。
此技术有助于分析企业重要的经营信息数据,并基于新的潜在需求制定战略、进行假说验证、促使政策实施等。
目前NEC已经与三井住友银行、日本综合研究所共同对此技术进行了验证,结果表明此技术可以将数据分析专家需要2~3个月才可以完成的工作在保持精度的前提下缩短到1天。2017年,NEC力争将此技术作为企业可在内部进行大数据分析的服务向企业用户进行推广。