下面是小编为大家整理的2022年中国商业智能行业研究报告Word文档,供大家参考。
中国商业智能行业研究报告 ——————————word文档
2020年
撰写人:xxx
摘要
区别于能够实现海量数据的管理、简单分析与可视化的传统商业智能,艾瑞的此份商业智能报告将聚焦于人工智能技术如何用于商业智能决策,实现商业经营的智能化与自动化。
报告核心观点 • 中国企业精细化运营的需求正在爆发 • 商业智能,帮助企业实现数据驱动认知到数据驱动决策的转变 • 商业智能主要应用于金融、电商、物流、出行等领域 • 中国AI论文成果达到国际一线水平 • 技术方面,商业智能的未来将从强调单一技术,到各学科、分支、算法等融会贯通 • 技术以外,企业、技术供应商对场景的理解是产业升级的关键 • 商业智能的落地是一项系统工程,企业的工程实践能力有待增强
2
3
商业智能概述 1 商业智能核心技术剖析 2
商业智能典型应用场景 3
商业智能典型公司案例 4
商业智能的挑战与未来 5
来源:艾瑞咨询研究院自主研究及绘制。
©2017.6 iResearch Inc. www.iresearch.com.cn 人工智能与其他相关技术 商业智能行业概念界定 商业智能的下一步,智能化与自动化 商业智能( BI , Bu s ine ss
In t elli g ence )概念的提出可追溯至 1958 年,通常将其视为把企业中现有数据转化为知识,帮助企业做出明智的业务经营决策的工具。过去的商业智能不能给出决策方案,也不能自动处理企业运行过程中遇到的问题。借助于人工智能与其他相关学科的技术进步,现代商业智能已能在特定场景中实现商业经营的智能化与自动化。因此,本报告聚焦于将人工智能技术用于商业智能决策,试图对人工智能在商业落地的真实现状进行说明,凸显AI技术(不包括智能语音、计算机视觉等感知智能)在现阶段应用的价值。
传统BI为商业经营的智能化与自动化奠定基础
传统商业智能的延伸 智慧营销、金融风控、动态定价、智能客服、智能投研分析等 报 告 智能化 自动化 重心
传 企业内部 企业外部数 统 据 数据 商业 ETL 抽取转换
数据仓库
数据挖掘 OLAP
可视化分析结果 智 结构化
能 数据 非结构化 装载
数据
本
4
来源:艾瑞根据专家访谈、公开资料等研究绘制。
©2017.6 iResearch Inc. www.iresearch.com.cn 高维度数据 提升模型表现 变模型对单一变量的过度依赖
商业智能与大数据 大数据为商业智能的发展提供土壤 互联网、移动互联网高速发展,海量、高维度且可实时接入更新的数据随之而来,为机器学习等前沿技术在各领域中的探索及落地提供可能,进一步拓展了被服务人群且显著提升服务质量。另一面,产业缺乏通用标准约束,数据在采集及流转过程中污染程度不一,数据加密不规范引致的数据泄露时有发生,数据孤岛亦成为企业业务发展的掣肘(如金融方面,企业多为基于自身平台积累的独有数据做征信,评分适用范围将大大受限),通用标准的建立需要政府及产业界的共同努力。
大数据对商业智能的贡献
改
5
海量数据 为各领域创新技术的探索与应用创造基础条件
动态数据即时更新 避免在市场环境变化、客群转移、产品迭代时 基于存量历史数据建模所导致的模型性能衰减、准确率下降
数据质量决定模型可能上限 结合模型和算法逼近物理上限 互联网高速发展 数据覆盖更多人群 有效拓展业务范围
…… 网络浏览数据 商城下单记录 运营商数据 通讯数据 GPS
来源:艾瑞根据专家访谈、公开资料等研究绘制。
©2017.6 iResearch Inc. www.iresearch.com.cn 决策 Deci s i o n
Tr ee
Ma c h ine
监督学习
强化学习 时间递归神经网络 无监督学习 Rando m
Fo r e st
商业智能与大数据 从数据驱动认知,到数据驱动决策 智能技术的运用一方面将拓展大数据的应用场景,从帮助业务人员认知到实现企业最优决策,另一方面,自然语言处理的进步也正在解决人机交互的部分问题,自然语言查询、自然语言生成都将进一步释放商业智能的效率和价值。
数据化智能决策
对数据进行可视化描述,分析规律并作出预测,让技术化的数据更加业务化,帮助业务人员增强对公司各项事务运营情况的认知。如通过对销售数据的分析可发现各类客户的特征和喜欢购买的商品之间的联系,营销人员可结合这种
“认知”来筹划有针对性的促销活动或向客户提供个性化服务等。
根据实际业务问题建立模型并求出最优解,给出人力、财力、物力、能源、时间等各项资源的具体配置方案,在营销、风控、定价、库存等场景实现智能决策,并在一些领域自动化执行。
认知 海量数据为智能分析提供养料 人工智能、运筹优化等先进技术推动商业智能向决策转化
信通院数据显示,目前约70%的企业 拥有的数据资源总量在50-500TB之间。
2016 年数据量在 500TB 以上企业占比为 18.4%,较2015 年增加 1.4%;
数据
行为主义 Artificial Intelligence
随机森林 图与网络分析
自然语言处理 机器学习 贝叶斯 运筹学
进化学派深度学习 Baye sia n
资源在50TB以下的企业占比由2015年 VC维 统计学 博弈论 随机模拟
动态规划 动态规划 知识图谱 的5.0%下降到2016年的3.7%。企业数 决策树 Deep Learning 生成对抗网络 神经网络
迁移学习 据资源总量呈增长趋势。
随机模拟 长短期记忆网络
数据
6
来源:艾瑞根据专家访谈、公开资料等研究绘制。
©2017.6 iResearch Inc. www.iresearch.com.cn 接入各行各业 商业智能应用场景 商业智能主要应用于金融、电商、物流、出行等领域 类比人类智能,人工智能可分为赋予机器语音、图像等感知能力的感知智能和赋予机器思考能力的认知、决策智能。认知能提升感知(如对语义的理解判断将提升机器的语音识别率),感知也会辅助决策(如智慧商超中机器视觉对客流属性、消费行为的观察、记录可辅助商超做出营销决策),本报告聚焦于认知智能在商业场景中的应用情况。
认知智能在商业场景中的应用 认知/决策智能
商业领
提升 域
辅助
其他领域
注释:有别于可产生情感、拥有创造性思维的人类认知,现阶段机器的认知依然是基于海量计算,对既有模型的高效求解;
如何让机器实现人类一样的“认知”,技术路径尚待探索。
7 金融 智能客服 感知智能
语音
图像
语言
触觉
……
精准营销 智能投顾风控 投研分析差 异化定价人力资源配置个性化定制 电商/零售 个性化推荐动态定价组合定价促销管理需求预测防刷单 供应链/物流 入库策略库存优化仓储优化路径优化清仓管理出库管理资源配置 出行 订单分配路径优化动态定价差异化定价 制造业 …… 医疗 农业 公共安全
中美商业智能环境对比 中美同属商业智能第一方阵,发展态势各有千秋 过去的几十年中,中国科技智能环境不如西方几乎成了很多人的刻板印象,但在如今的商业智能领域,我国从“中国制造”到“中国智造”,从奋起直追到弯道超车,已进入商业智能领域第一方阵,成为发展最快的国家之一。总的来说,由于中美文化差异、人口差别、工作强度不同等因素,相比美国,中国将技术落地的加速度更快,新兴商业模式拓展力强,但业务的发展仍缺乏全面性与标准化。目前,中国通过单点突破弯道超车,并开始重视精细化运营,由局部最优逐渐向全局最优靠拢。
2017年中美商业智能环境对比
信息化发展现状 底层基础较弱,但商业模式创新力强,数据获取渠道丰富、 信息化建设水平高,数据量大,企业底层基础好 获取速度快 宏观 国家关注程度 国家发改委:《“互联网+”人工智能三年行动实施方案》
科技部:正起草促进中国人工智能创新发展规划 白宫:《人工智能
自动化
经济》总统办公室:《为AI未来做好准备》
人才 人才结构
业务流程解决方案
运营 运营侧重点
金字塔结构,相关 人才分布均衡度较差 ,依赖工具
单点突破,覆盖业务生命周期其中一环 从底层技术到企业应用,提供 一体化解决方案重战略
–
跑马圈地, 占领市场
纺锤形结构,相关人才分布均衡,依赖人才
全流程管控,覆盖完整业务生命周期 聚焦于环节点,针对此特定环节提供解决方案重运营 – 精细化运营,提升利润 运营优势 技术场景化速度快,业务应用突出 基础算法等技术研发实力强
©2017.6 iResearch Inc. www.iresearch.com.cn 8
©2017.6 iResearch Inc. www.iresearch.com.cn 中国商业智能政策环境 政策加码,人工智能从爆发期走向真正的新纪元 从 2015 年人工智能进入爆发期以来,国家陆续提出多项意见与规划,特别是 2017 年“一带一路”会议、全国两会均将人工智能列入未来发展规划中,以及 2016 年国家将人工智能列入“科技创新 2030 项目”以及“十三五”重大工程,使得人工智能在中国政治、经济、学术等领域成为重中之重,引来中国人工智能最好的时代。
中国商业智能相关政策 《关于运用大数据加强对市场主体服务和监管的若干意见》 7月 旨在加快政府部门利用大数据 1月
技术提升治理效率、重构治理模式、破解治理难题,这对于提升政府服务和监管水平是一个里程碑式的举措。
2017年全国两会 指出要加快培育壮大包括人工 5月 智能在内的新兴产业,“人工 智能”也首次被写入了全国政府工作报告。百度李彦宏,腾 讯马化腾都在两会上就人工智能发表意见。
爆发期 2015年 2016年 2017年 新纪元
《国务院关于积极推进 “互
7月 联网+”行动的指导意见》 明确提出人工智能作为11个重点布局的领域之一,促进人工智能在智能家居、智能终端、智能汽车、 机器人等领域的推广应用。
《“十三五”国家科技创新规划》 智能制造和机器人成为“科技创新2030项目”重大工程之一。
《国民经济和社会发展第十三个五年规划纲要(草案)》 人工智能概念进入“十三五”重大工程。
《“互联网+”人工智 3月 能三年行动实施方案》 明确了要培育发展人工智能新兴产业、推进重点领域智能产品创新、提升终端产品智能化水平,并且政府将在资金、标准体系、知识产权、人才培养、国际合作、组织实施等方面进行保障。
9 3月
©2017.6 iResearch Inc. www.iresearch.com.cn 中国商业智能经济环境 经济增速温和,跑马圈地粗旷经营的红利期已过,精细化运营的需求正在爆发 中国凭借工业化发展促使经济快速增长, 2010 年之后工业化进程逐渐到达顶峰,随之而来的是劳动力和财力逐渐向生产价值较低的生产部门转移,生产总值的降低导致了经济增速的下降。随着经济增速下降,无法在短时间内找到新的经济增长点,内部问题集体产生了爆发,产能过剩,高杠杆,房地产高库存和金融风险等问题扑面而来。这就意味着中国面临着一次重要的经济转型,摆脱传统的高污染低效率的粗放型发展模式,同时,现今政府多次强调供给侧结构性改革,从质和量上提升经济增长,在政策的支持下,高附加值、知识和技术密集型的产业将会重点培养,结合高科技技术,提升企业精细化运营、降低运营成本、增加企业受益。
2011-2016年中国GDP及实际增长率 9.5% 7.7% 7.7% 7.7% 6.9% 6.7%
58.8
48.4 63.6 67.7
74.4
来源:国家统计局 2011 2012 2013 2014 2015 2016 GDP(万亿元)
GDP增长率(%)
53.4
10
来源:艾瑞根据AAAI官方信息、公开资料等研究绘制。
©2017.6 iResearch Inc. www.iresearch.com.cn 中国商业智能技术环境 论文成果达到国际一线水平,企业积极应用创新性成果 AAAI (T h e
Ass oci at i on for th e
Advan cemen t of Art i f ici al I n t elli g ence )是人工智能领域顶级的综合性会议,会议论文涉及机器学习、自然语言处理、搜索、规划、视觉、知识表达等人工智能各分支的学术探讨和应用研究。
2017 年AAAI大会收到论文 2571 篇,创下新高,中国学者的论文提交量与录用率均达到国际一线水平,与美国持平。收录论文不仅有来自高校学者,还有来自百度、腾讯、华为、 360 、今日头条等企业研究人员,如百度的《Co ll aborat i v e
Co m pa ny
Prof ilin g:
In s i ghts fro m
a n
Emp l o yee ’s Pe rsp ec t i v e 》——从员工角度出发,尝试利用AI让企业人力价值最大化。
国内企业与高校间的合作也愈发紧密,腾讯即有与香港科技大学的实验室合作,高校可利用企业的海量数据与测试平台,企业则可将创新性成果落地实践。需要指出的是,尽管目前AI的商业应用中国并不落后甚至在某些维度领先美国,但在原创性研究、创新土壤、人才储备方面,中美仍有较大差距。
AAAI 2013-2017年论文提交及录用情况统计图 29.4% 28.3% 26.7% 25.8% 24.9%
1406
1991 2132 2571
美国 30.0%
中国 31.0%
690 531 549 639
203 398 其他 39.0%
2013 2014 2015 2016 2017 提交数量(篇)
录用数量(篇)
录用率(%)
11
来源:艾瑞咨询研究院自主研究及绘制。
©2017.6 iResearch Inc. www.iresearch.com.cn
ERP
CRM
HCM
OA
交易所模式
电商模式
API模式
网络传输
云服务
存储设施
计算设备
商业智能产业链 本报告侧重于智能技术在商业场景中的应用,即产业链的中游和下游。关于产业链的上游,传统 IT 厂商和云服务厂商可为技术、产品及服务提供者赋予计算、存储等基础设施支持, ERP、CR M等信息系统可帮助企业有效记录其资源及业务数据,数据整合者的第三方数据则可丰富智能分析的数据维度。
2017年中国商业智能产业链
“上游”
企业信息化系统供应商 数据及计算资源提供者
数据整合者
基础设施供应商
“中游”
“下游” 商业智能技术/产品/服务提供商 大数据管理系统供应商 垂直领域产品供应商 各场景解决方案供应商
商业智能服务使用者
各行各业
金融
电商
物流
出行
媒体
工业
……
12
来源:艾瑞咨询研究院自主研究及绘制。
©2017.6 iResearch Inc. www.iresearch.com.cn 商业智能产业图谱 2017年中国商业智能产业图谱
13
商业智能技术、产品及服务提供者
智能营销
大数据/AI+营销
动态定价 物流管理
交通出行 金融风控
机器学习引擎/平台
投研分析 营销+大数据
智能客服 智能投顾
数据及计算资源提供者
商业智能服务使用者
来源:It桔子,因果树。
©2017.6 iResearch Inc. www.iresearch.com.cn 商业智能行业投融资梳理 行业集中度低,融资火热,天使轮、A轮居多 商业智能应用场景众多,包括营销、金融、交通等领域,各领域涉及企业众多,行业集中度较低,融资方面, 2012 - 2016年最为火热,其中, 2015 年融资次数达到 31 次,同时有两家新三板挂牌企业,是 2012 - 2016 年中融资次数最多的一年;
从融资轮次来看,大部分融资尚处于早期的天使轮、A轮阶段;
另外,从企业所涉领域来看,服务于金融领域的企业最受资本市场青睐。
2012-2016年中国商业智能行业融资轮次 2
1 1
3 1
1 7
8
1
2
3 12
13
8
1 2 10
1
新三板挂牌(次)
E轮(次)
D轮(次)
C轮(次)
B轮(次)
A轮(次)
天使轮(次)
注释:1. 种子轮计入天使轮;
Pre-A轮、A+轮计入A轮;
B+轮计入B轮;
C+轮计入C轮;
D+轮计入D轮。
4
2
6
5
1
2012 5次
2013 6次
2014 20次
2015 33次
2016 31次
14
商业智能典型应用场景 3 商业智能典型公司案例 4 商业智能的挑战与未来 5
商业智能概述 1
商业智能核心技术剖析 2
15
商业智能核心技术剖析 了解技术是发展技术的前提 人工智能正在重塑科学、技术、商业、政治以及战争,而大众对技术的认知程度和该技术的重要性相比显得远远不够。即使只有工程师和机修工有必要知道汽车发动机如何运作,每位司机也都必须明白转动方向盘会改变汽车的方向、踩刹车会让车停下。另外,当今人工智能的各个分支其实在五十年前就已有相关基础,当时的一些科学家认为,人工智能的所有问题都将在十年内解决。但事实是直到今天,很多问题仍悬而未决并难以解决。过高的预期引致不当的失望,人工智能历史上的两次冬天无疑阻碍了技术、产业发展的步伐,并让踏实做事的人受到伤害。因此,我们有必要对商业智能技术的概念模型、发展现状与应用前景进行客观认知,了解它的能力与边界。
对技术的过高预期可能导致人工智能的冬天 了解概念模型是有效利用新技术的基础
人工智能无所不能!
概念模型
有效 人工智能无所不能!人工智能无所不能!
技术 利用
1956年
骗子!
1980年
骗子!
2000年 2010年
“概念模型”一词由心理学家Do n
Norma n 创造,代指为了有效利用某项技术而需粗略掌握的知识。
©2017.6 iResearch Inc. www.iresearch.com.cn
参考资料:Pedro Domingos.终极算法[M]及网络公开资料。
16
©2017.6 iResearch Inc. www.iresearch.com.cn 核心技术之机器学习 机器学习概述 将数据输入计算机,一般算法会利用数据进行计算然后输出结果,机器学习的算法则大为不同,输入的是数据和想要的结果,输出的则为算法模型,即把数据转换成结果的算法模型。通过机器学习,计算机能够自己生成模型,进而提供相应的判断,实现某种人工智能。工业革命使手工业自动化,而机器学习则使自动化本身自动化。
机器学习的过程
监督学习
有标记 无监督学习 无标记 信息 信息
样本数据 学习 +
用于训练 用于测试 算法 贝叶斯决策树支
持向量机 训练集 开发集 测试集
用于开发过程的调参、验证 深度学习强化学习迁移学习
……
参考资料:周志华.机器学习[M]等。
假设集合 聚类 类别在训练前未知 分类 类别在训练前已知 回归
与训练数据一致的 版本空间 由归纳偏好决定对某种类型假设的偏好从而产生确定的学习结果 归纳偏好是否与问题本身相配,大多数时候直接决 定了算法能否取得好的性能,泛化能力是否良好 模型 对实际问题的理想化表示
=
假设 逼近 关于数据的某种潜在规律
学习的目的 真相
离散值
连续值
17
来源:艾瑞根据专家访谈、公开资料等研究绘制。
©2017.6 iResearch Inc. www.iresearch.com.cn 核心技术之机器学习 机器学习的发展历程 在《终极算法》一书中,多明戈斯将机器学习分为五大学派:符号学派、联结学派、进化学派、贝叶斯学派、类推学派,引起热议。但发展至今,机器学习各学派彼此相遇、交融,已难以做清晰划分,另一方面,工业实践中问题的解决往往依 赖于具体场景下对多种算法的综合利用,学派归属则无足轻重。尽管机器学习在 20 世纪 80 年代才成为一个独立的学科门类,进而在人工智能问题中大施拳脚,但在人工智能进入属于机器学习的鼎盛时期以前,在人工智能诞生之初的推理期、知识 期即有机器学习的用武之地。因此,本报告仅结合人工智能不同发展阶段的主流思想特点,对当时机器学习的主要方法做以下图介绍。
机器学习技术发展史 统计学的研究成果经由机器学习 统计学习登场并占据主流 提出支持向量、VC维等概念 研究,形成有效的学习算法 支持向量机、核方法为代表性技术 神经网络 第二个高潮
神经网络
第一个高潮期
联结学派 对大脑进行逆向分析灵感来自于神经科学和物理学
符号学派将学习看作逆向演绎 并从哲学、心理学、逻辑学中寻求洞见代表包括决策树和基于逻辑的学习
基于符号知识表示 NP (n o n - de t e r mini st ic po lyn o mi a l -ti me )难题中获重大进展
助力大量现实问题 神经网络 以深度学习之名再次崛起大幅提升感知智能准确率
产生的是“黑箱”模型
神经网络可归置此类 基于符号知识表示
通过演绎推理技术
通过获取和利用领域知识 建立专家系统
人工智能的三个研究阶段 推理期 知识期 机器学习期 1950s 1970s 1980s 90s中期 2017
18
©2017.6 iResearch Inc. www.iresearch.com.cn d
核心技术之机器学习 支持向量机、朴素贝叶斯、决策树、神经网络等经典算法 支持向量机 朴素贝叶斯 决策树 神经网络
支持向量机( SVM)是针对二分类任务设计的,给定一组训练实例,SVM训练算法创建一个将新的实例分配给两个类别之一的模型。
间隔 基于“属性条件独立性假设”和贝叶斯定理:
P ( c ) P ( xc ) P ( cx )
P ( x ) 朴素贝叶斯分类器的表达式为:
h nb ( x )
arg max P ( C ) P ( x i c ) 决策树是一个利用像树一样的图形或决策模型的决策支持工具,这恰是人类在面临决策问题时一种很自然的处理机制。
根结点
内部结点 神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。神经网络中的神经元接收到来自 n 个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接进行传递,神经元接收到的总输入值
c y i 1 将与神经元的阈值进行比较,然后
类别1 类别2 SVM还可以使用所谓的核技巧有效地进行非线性分类。
在现实任务中朴素贝叶斯分类器有多种使用方式。例如,若人物对预测速度要求较高,则对给定训练集,可将朴素贝叶
斯分类器涉及的所有概率估值事先算好存储起来,在进行预测时“查表”即可判别;
若任务数据更替频繁,可“懒惰学习”;
若数据不断增加,则可
叶结点
一般的,一棵决策树包含一个根结点、若干个内部结点和若干个叶结点;
叶结点对应决策结果,其他每个结点则对应于
一个属性测试。决策树学习的目的是为了产生一棵泛化能力强,即处理未见示例能力强的
通过“激活函数”处理以产生神经 元的输出。把许多个这样的神经元按一定的层次结构连接起来,就得到了神经网络。
隐层 输入层 输出层
进行增量学习。
决策树。
神经网路是一种难解释的“黑 箱模型”,但已有一些工作尝试改善神经网络的可解释性。
参考资料:周志华.机器学习[M]及网络公开资料。
19
来源:艾瑞根据专家访谈、公开资料等研究绘制。
©2017.6 iResearch Inc. www.iresearch.com.cn 习 核心技术之机器学习 深度学习、强化学习、迁移学习等热点技术 深 深度学习与强化学习的结合,不仅为强化学习带来了端到端优化的便利,而 度 且使强化学习突破低维空间的限制,极大地拓展了强化学习的使用范围。
化强 典型案例:AlphaGo (深度强化学习和蒙特卡洛树搜索);
谷歌数据中心的
迁移学习 在少量数据上实现学习迁移,解决冷启动、个 学
冷却系统减少40%的能耗
深度学习 需要大量数据,解决特征问题
深度学习是在多层神经网络的结构下,辅以结构设计和各种梯度技术,试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象,能够很好地处理对图像分类、语音识别等感知智能问题。
深度学习不仅能够提供端到端的解决方案,而且能够提取出远比人工特征有效的特征向量。但其模型“黑箱”,可解释性差,限制其应用场景。
典型案例:
ImageNet 挑战赛( CNN 、 AlexNet、VGG、ResNet);
百度凤巢系统
强化学习 需要大量数据,从反馈中学习策略
强化学习和人类与环境交互的方式非常类似,是一套非常通用的框架。它是在一系列的情景之下,通过多步恰当的决策来达到一个目标,实现累积奖赏最大化,而摸索策略的过程即强化学习。区别于传统有标记的监督学习,强化学习不能立即得到标记,而只能得到一个反馈,因此可以说强化学习是一种具有 “延迟标记信息”的监督学习。
典型案例:波士顿动力Handle机器人 性化问题
迁移学习一般是将从拥有大数据的源领域上学习到的东西应用到仅有小数据的目标领域上去,实现个性化迁移,即举一反三、触类旁通。但迁移学习能在什么领域成功仍值得探究。
典型案例:斯坦福学者使用卫星图像获取的灯光信息来分析非洲大陆的贫穷情况;
推荐系统的“冷启动”
20
©2017.6 iResearch Inc. www.iresearch.com.cn 核心技术之机器学习 人工智能、机器学习及深度学习的相互关系 近几年掀起人工智能热潮的深度学习,属于机器学习的一个子集,在思想和理论上并未显著超越二十世纪八十年代中后期神经网络学习的研究,但得益于海量数据的出现、计算能力的提升,原来复杂度很高的算法得以落地使用,并在边界清晰的领域获得比过去更精细的结果,大大推动了机器学习在工业实践中的应用。但值得指出的是,深度学习的应用范围还很有限,统计学习仍然在机器学习中被有效地普遍采用。另外,人工智能不是一种特定的技术方法,所有方法都是在对人工智能这个课题进行研究的产物。机器学习和象征着理性主义的知识工程、行为主义的机器人一样,是人工智能的一个分支。
深度学习<机器学习<人工智能 深度学习与传统机器学习的区别 传统机器学习描述样本的特征通常由专家来设计,这称为“特征工程”;
深度学习则通过机器学习自身来产生特征,即“特征学习”
或“表示学习”。因此在数据的“初始表示”(如图像的“像素”)与解决任务所需的“合适表示”相距甚远的时候,可尝试使用深度学习的方法。
人 机 深
工 器 度
智 学 学
能 习 习
传统机器学习
样本数据 人工设计特征 深度学习 样本数据 机器学习特征
学习
端到端学习 学习
参考资料:周志华.机器学习[M]等。
21
来源:艾瑞根据专家访谈、公开资料等研究绘制。
©2017.6 iResearch Inc. www.iresearch.com.cn 核心技术之机器学习 统计学、微分几何等数学分支推动机器学习技术创新 机器学习中的统计方法研究,用到的数学主要是概率统计。其实,其他数学分支在机器学习中也有应用,例如微分几何在流形学习上的应用,微分方程在归纳学习上的应用,相对而言,代数的应用可能更广,但代数一般作为机器学习的基础工具来使用,例如矩阵理论和特征值理论,又如微分方程求解最终往往归结为代数问题求解。而彭实戈院士的倒排随机微分方程理论之预测金融走势,可谓是用高深数学推动机器学习新模式的好例子。但从宏观的角度看,陆汝钤院士指出,深刻的、现代的数学理论的对机器学习的介入程度还远远不够,数学对机器学习新模式、新理论、新方向的参与值得期待。
统计学与机器学习的区别与联系
统计 统
微分 学 计 方程 学 与机 微分 器 几何 机 学 器 习 学 的 习 区 代数 别 …… 与 联系 这两门学科(机器学习和数理统计)关心的是同一件事,即我们能从数据中学到什么? ——Larry Wasserman 但相对而言,机器学习关心的是多项式时间内可计算的算法,强调优化和性能,并不需要对有关变量之间的潜在关系提出先验假设;
统计学则注重理论分析和问题建模,必须了解数据的收集方式、估计量的统计特征、被研究人群的潜在分布规律以及多次试验的期望参数的类型等,相比人工智能“干净”很多,研究的问题是清楚的。
可将机器学习当做统计学的一种应用,即把统计学中的理论和方法变成可在计算机上有效实现的算法。两者的联系在愈发紧密,也成就了机器学习领域诸多重要成果。
各数学分支推动机器学习技术创新
22
来源:艾瑞根据专家访谈、公开资料等研究绘制。
©2017.6 iResearch Inc. www.iresearch.com.cn 核心技术之机器学习 人工智能、博弈论、运筹学等多领域思想交融 博弈论、运筹学、控制论、信息论、仿真优化、多主体系统学习、群体智能、统计学以及遗传算法等许多领域也有关于机器学习的研究,如运筹学中的近似动态规划即对应强化学习,而在经济学和博弈论中,强化学习被用来解释在有限理性的条件下如何出现平衡。在实际问题的解决中,人工智能的方法如机器学习等,往往只是其中一环,问题的完整解决依赖于对博弈论、运筹学等多领域、跨学科的知识思想的融会贯通。
博弈论、运筹学与人工智能的关系
博弈论
概述
博弈论就是研究博弈行为中斗争各方是否存在着最合理的行为方案以及如何找到这个合理的行为方案的数学理论和方法。
如美国国安局在通过机器学习对民众数据进行挖掘分析以维护国民安全的时候,应将机器学习与博弈论相结合,把各种措施的成本和利益考虑在内,寻求安全与隐私之间的平衡点。
, 典
型案例 Li brat u s击败人类顶尖德扑选手,其背后核心思想即博弈论。
Li brat u s基于传统的线性规划,通过虚拟遗憾最小化、残局解算器以及强化自我学习三个模块,对不完整信息进行综合处理分析。
在具有强大数据挖掘能力的机器学习总结出事物的规律(做出分类
1983年,Hopfield即有将神经网 运筹学
或者预测的模型)之后,运筹学可实现模型的进一步拓展,建立从 典型案例 络用于解决运筹学中的经典问题, 概述 规律到决策的完整解决方案。另外,在运算效率至关重要的复杂问 TSP(旅行商销售问题)。
题的解决中,参数往往决定了模型在工业实践中是否可用,在求解 而如今,网约车平台“拼车”业务 模型参数时,运筹学的思想也会助力算法优化、寻找最好参数。
的路径优化问题,是TSP问题在新
因此如今在商业领域广为使用的定价系统、推荐系统、风控系统等 业务发展中的变化升级,也是机器
都有人工智能和运筹学的交融。
学习与运筹学相遇的典型场景。
23
©2017.6 iResearch Inc. www.iresearch.com.cn
核心技术之知识图谱 知识图谱的概念及体系架构 伴随Web技术的不断演进与发展,在先后经历文档互联和数据互联之后,人类正在迈向基于知识互联的新时代。知识互联的目标是构建一个人与机器都可理解的万维网,使得人们的网络更加智能化。旨在描述真实世界中存在的各种实体或概念的知识图谱,凭借其强大的语义处理能力与开放互联能力,可为万维网上的知识互联奠定扎实基础。知识图谱于 2012 年 5月 17 日被Googl e 正式提出,其前身可追溯至上世纪六十年代的Fra me
Ne twor k ( Sem a n t ic
Networ k )。知识图谱的一种通用表示方式为三元组,即 G
( E
, R
, S
),其中 E
e 1 , e 2 · , ··e E
是知识库中的实体组合, R
r 1 , r 2 · , ·· r R
是知识库中的关系组合, S
E
R
E
代表知识库中的三元组集合。
知识图谱的体系架构 第三方数据库
结构化的数据 数据整合 知识更新 知识检索
半结构化的数据非结构化的数据 实体抽取关系抽取属性抽取 实体对齐 本体构建 质量评估 知识图谱
知识推理
参考资料:徐增林.知识图谱技术综述[J]及网络公开资料。
24
参考资料:徐增林.知识图谱技术综述[J]及网络公开资料。
©2017.6 iResearch Inc. www.iresearch.com.cn 核心技术之知识图谱 知识图谱的应用 就覆盖范围而言,知识图谱可分为应用相对广泛的通用知识图谱和专属于某个特定领域的行业知识图谱。通用知识图谱注重广度,强调融合更多的实体,主要应用于智能搜索等领域。行业知识图谱需要考虑到不同的业务场景与使用人员,通常需要依靠特定行业(如金融、公安、医疗、电商等)的数据来构建,实体的属性与数据模式往往比较丰富。
通用知识图谱的应用 行业知识图谱的应用
金融
公安
医疗
25 智能问答 问答系统是信息检索系统的一种高级形式,能够以准确简洁的自然语言为用户提供问题的解答,如 Si r i 等语音助手。当问答系统融入特定公司或领域的知识图谱时,即可成为智能客服系统。
组织相关的知识碎片,通过深入的语义分析与推理,可对信息内容的一致性充分验证,从而识别或提前发现欺诈行为;
打造智能投研系统,为投资者提供标的发现、标的研究、行业分析、事件分析、报告生成等投资辅助服务。
将公安中各类数据汇总融合成为人、事、地、物、组织等实体对象,并根据其中的属性联系、时空联系、语义联系、特征联系等建立相互的关系,形成一张包罗万象的公安专属情报知识图谱,可视化研判加复杂多维情报分析挖掘,让犯罪分子无处可逃。
对医疗领域的相关知识进行采集,整理和萃取,以满足与该领域相关的各种对于知识服务的需求;
构建“知识图谱+推理逻辑”的医疗大脑,进行智能诊断。
智能搜索 智能搜索引擎主要以 3 种形式展现知识:集成的语义数据,如搜索梵高,引擎将以知识卡片的形式给出梵高的详细生平,并配合以图片等信息;
直接给出用户问题的答案,如当搜索姚明的身高是多少,搜索引擎的结果是“ 226
cm”;
根据用户的查询给出推荐列表等。
来源:艾瑞根据专家访谈、公开资料等研究绘制。
©2017.6 iResearch Inc. www.iresearch.com.cn 核心技术之运筹学 运筹学概述 运筹学是一门用量化分析的方法做决策与优化的科学和艺术,它为管理决策提供智慧,并以自己的智慧解决管理决策问题。体现运筹学思想和方法的某些早期先驱性的研究工作,可以追溯到 20 世纪初期,如 1908 年丹麦工程师Er l a n g提出的电话 话务理论(运筹学中排队论的起源)。运筹学是一门应用性很强的学科,在研究和解决各种复杂的实际问题中综合使用代数、 统计学、计算机科学、模拟(仿真)等各种方法,不断得到创新和发展,至今已成为一个包括许多分支的庞大的学科。在大数据时代,数据科学结合运筹学尖端理论是实现数据驱动的科学决策的坚实基础。
运筹学的内容
果实:各领域应用 金融 市场 生产 项目管理和控制 后勤学和供应链人 力资源配置 战略规划 IT 服务运营管理
分支:运筹学分支主干:最优化
根系:基础科学 线性规划 非线性规划 动态规划 图与网络分析决策分析 存储论 排队论 随机模拟 对策论
运筹学是一门决策和优化的科学和技术
26
参考资料:Frederick S.Hillier.运筹学导论[M].2010年5月出版。
©2017.6 iResearch Inc. www.iresearch.com.cn 核心技术之运筹学 从军事到民用,优化各领域组织决策 最早期的较为正式的运筹学活动出现在第二次世界大战时期,有一批英国的科学家着手研究利用科学方法进行决策,以最佳使用战时资源,当时的工作小组将自己的工作称为Operat i o n a l
R e s e ar c h(简称OR)。战后的工业复苏时期,运筹学思想被引入民用领域,用来应对组织中与日俱增的复杂性和专业化所产生的问题,大幅提升了生产力。虽然运筹学的大部分实践应用产生的效益小于下表所列案例,但这些典型反映了大型的计划完善的运筹学的研究可能带来的重要影响。
运筹学的典型应用案例
序号 组织 应用的领域 节约额(百万美元/年)或获奖情况 1
联邦快递 物流计划和运输 INFORMS奖首位获得者(1991年)
2
大陆航空公司 当原有计划安排被打乱时,航班机组人员的重新分配 40 3
Swift 改善销售与制造业绩 12 4
纪念斯隆·凯特林癌症研究中心 放射治疗的设计 459 5
三星电子 缩减制造时间和储存量 200(增收)
6
太平洋木材公司 森林的长期生态管理 398(净现值增加)
7
宝洁 生产与分配系统的重新设计 200 8
工人银行 建立投资咨询的决策支持系统 31 9
第一银行公司 管理信用卡的信用流程和利率 75(利润增加)
10 美林公司 对提供金融服务的价格分析 50(增收)
27
来源:艾瑞根据专家访谈、公开资料等研究绘制。
©2017.6 iResearch Inc. www.iresearch.com.cn 转机 未来 核心技术之运筹学 国内运筹学应用的现状与前景
现状
国内学术界与工业界对于运筹学的认知比较薄弱,学术理论与工业实践的结合不够紧密 由于历史原因,美国许多大学的运筹学系、管理科学系、经济学系、工业工程系、系统科学系、数学系、计算科学系等都开设了运筹学及其相关分支课程,而国内的运筹学则往往被看作数学学科中一个比较小众的分支,相对重理论轻应用,未能与工业界建立有效联结优化其运营决策。作为学术水平要求较高的交叉学科,国内运筹学长期面临着人才匮乏的尴尬,而社会学、经济学知识或传统咨询机构如麦肯锡等仅能帮助企业做出定性分析,不能定量做出精准决策指导,如商品定价问题仅能给出涨价或降价的建议,不能精准到具体价格。另外,多年来,中国都没有自己的优化求解器(用来解决运筹建模问题的基础支撑软件),主要靠海外购买或使用海外的开源求解器,前者价格不菲,并且代码封装,很难根据国内企业特点做针对性加速,后者则极不稳定。
企业经营告别跑马圈地,逐渐步入精耕细作 改革开放造就了国内过去 30 多年市场发展的野蛮生长,借助大量红利,企业占领市场、快速扩张、获取份额、赢得利润。而当下,中国经济已进入结构性变革时期,增长红利渐渐褪去,企业竞争逐步偏向后端管控与决策,企业必须优化成本、增高效率才有可能保持长期竞争力。从中央到地方政府都在强调供给侧结构性改革,旨在调整经济结构,使要素实现最优配置,提升经济增长的质量和数量,而要素的最优配置正是运筹学的用武之地。中国当前经济的结构性变化给企业管理带来很大压力,精耕细作势在必行,决策优化的需求正在集中爆发。
工业实践带动学科发展,智能决策提升企业效率 大数据时代赋予企业更海量、更多维度、更具时效性的全样本数据,也带来了工业实践的新业务、新场景、新约束,这些新问题为运筹学的经典理论带来新鲜养料,促进了运筹学新模型、新方法的不断涌现。美国的亚马逊会有数百人的运筹学团队来负责物流、仓储的供应链优化和商品定价等收益管理问题;
谷歌起家的搜索引擎由计算机科学背景的人员来研发,如今谷歌也有专门的运筹学团队来解决相应的广告点击、街景的路径优化等各种问题,均在大数据时代凭借运筹优化来做精细运营。国内移动互联网的爆发性增长带来了大量的数据积累和沉淀,在很大程度上补充了原有的以PC为核心的 IT 信息系统,用户使用移动服务过程中记录下来的数据成为智能决策系统提升运营效率的基础,电商的收益管理、供应链优化,网约车的路径规划、动态定价,金融的风险管理,各领域各组织皆因国内庞大的用户市场而充满想象空间。
28
商业智能典型应用场景 3 商业智能典型公司案例 4 商业智能的挑战与未来 5
商业智能概述 1
商业智能核心技术剖析 2
29
来源:艾瑞根据专家访谈、公开资料等研究绘制。
©2017.6 iResearch Inc. www.iresearch.com.cn 商业智能应用之广告营销 精准营销负责引流获客,个性化推荐促活留存 商业智能在广告营销领域的主要应用为精准营销与个性化推荐,两者均通过用户数据,对用户贴标签,并基于产品特征与投放需求,建立不同的决策模型进行营销;
两者最大的不同在于,精准营销用于引流获客阶段,以短信或优惠券的方式进行营销,提升响应率,优化企业运营;
个性化推荐用于留存促活阶段,使得消费者在最合适的时间,以最恰当的方式,获得最合意的产品、资讯以及服务的推荐。
商业智能之广告营销流程示意图 推荐/营销系统 场景引擎:了解用户状态,具体业务需求 规则引擎:制定营销方案与实施方式 算法引擎:提供决策树、逻辑回归、GBDT等基础算法 展示引擎:确定呈现方式与途径 对用户各项属性数据打标签、建立用户画像 --例如,上网特征、购物偏好、兴趣偏好等--
精准营销 应用环节:引流获客 呈现方式:优惠短信、优惠券等
Start
采集用户数据 打通用户数据 个性化推荐 应用环节:留存促活 呈现方式:“猜你喜欢”模块, App/应用商城首页、分类页、详情页的推荐 --通过爬虫、数据探头等方式-- --清洗、整合各渠道得到的数据--
30
来源:艾瑞根据专家访谈、公开资料等研究绘制。
©2017.6 iResearch Inc. www.iresearch.com.cn 商业智能应用之电商 收益管理的本质是优化 商业智能在电商领域的主要应用为商品组合、定价策略、促销管理等多方面的优化,可归结为收益管理,即指在适当的时间和地点下,以合适的价格向不同的用户提供最恰当的服务或产品,以实现资源约束下,企业收益最大化的目标。收益管理最早起源于航空运输业,当时的民航处于价格管制状态,为解决旅客误机导致的座位虚耗、企业收益流失,出现了“超售”思想,除航空业外,收益管理也广泛应用于酒店服务、电子商务、交通出行以及物流运输等领域。
收益管理与电商平台的联系
收益管理的兴起 (R e v enue
Ma n ag emen t)诞生于 20 世纪 50 年代航空运输业的“超售”的概念 WHEN WHERE HOW WHO WHAT
电商领域的主要应用 定价策略 •
差异化定价 •
动态定价 •
组合定价 促销管理
在
正确的时间 和
正确的地点 以
正确的价格 为
正确的用户 提供 正确的服务/产品
31
©2017.6 iResearch Inc. www.iresearch.com.cn 商业智能应用之电商 智能化收益管理帮助企业在不增加流量投入的同时提升收入 高量级SKU及日销量使得定价管理日益复杂,基于经验的传统批量定价方案已难以覆盖电商平台的多维度场景,不合理定价频繁出现,商业智能的定价方案可通过对交易数据、行为数据、竞争数据等多维度数据的整合分析,找到不同场景下的最优定价和销售策略,以差异化定价、动态定价、组合定价等方式对传统批量定价进行优化;
促销管理的实施办法是通过挖掘促销规律,基于促销规律与敏感度对商品进行分类,并结合市场发展与企业目标建立促销优化模型,确定促销方式,在不增加流量投入的前提下提升销售收入。
商业智能之电商应用解析
差异化定价动态定价组合定价促销管理 在不同消费者群体对于同一商品的价格敏感度不一样的情况下,通过不同的价格最大化收益
在供需情况不断发生变化或销售有明确且短暂的需求时,利用动态定价系统避免无法完成销售或价格过低
当消费者对不同商品的需求存在关联性时,利用组合定价方案推动消费者单次消费中的多件商品购买
解决促销商品如何选择、促销价格如何制定、促销周期如何规划以及促销手段如何设计的问题
确定促销方式 促销优化 建立促销优化模型 。
促销 建立促销需求函数 策略
32
来源:艾瑞根据专家访谈、公开资料等研究绘制。
©2017.6 iResearch Inc. www.iresearch.com.cn 商业智能应用之交通出行 通过人工智能+运筹学,最小化路程与出行时间 路径优化是指如何找到从出发地到达目的地之间最短时间、最优价格的最短路径;
订单分配研究的是供需匹配问题,结合多维度影响因素(例如路途距离、路况、骑手骑行速度、需求时间段等)匹配需求和供给;
另外,除路径优化与订单分配外,电商领域中提到的定价优化也应用于交通出行,例如网约车定价,但与电商不同的是,网约车因其需求的及时性要求较强,账号共享性弱,使其拥有更大的个性化定价空间。
商业智能之交通出行应用解析
旅行推销员问题车辆调度问题静态匹配问题动态匹配问题
路径优化 订单分配
路径优化 可理解为寻求由起点出发,通过所有给定需求点后再回到原点的最短路径问题,路径优化诞生于TSP问题(Traveling Salesman Problem,旅行销售员问题),即访问除原出发结点以外的每个节点一次且仅一次,应用场景例如拼车实时路线规划、某些货物需在某一时间段送到(时间窗口)
订单分配 可理解为供需匹配问题,供需匹配可分为静态匹配与动态匹配,静态匹配即有n个需求,n个供给,每一个供给只能满足一个需求, 每一个需求也只需要一个供给,应用场景例如物流追踪、车辆与乘客静态匹配等;
当匹配双方并非事先确定时,则为动态匹配问题,动态匹配的本质在于优化结合随机建模,当匹配的一端实时产生时,以优化模型决定如何匹配能够达到最大价值,应用场景例如网约车随时产生的乘客与...
推荐访问:中国商业智能行业研究报告Word文档 研究报告 中国 文档