您所在位置:> 重庆之窗首页 > 科技 > 正文

百度CTO王海峰:深度学习的核心东西是深度学习框架

2019-06-28 18:58:18 来源:新浪科技 繁体中文 有奖报错 我要发表评论 打印正文 关闭页面

   6月28日上午消息,2019年全球软件产业发展高峰论坛今日开幕,百度首席技术官王海峰发表演讲。

  王海峰指出,深度学习已经广泛应用,它的核心的东西是深度学习框架,可以说深度学习框架是智能时代的操作系统,它向下会对接芯片,芯片会针对深度学习框架里面的这些运算来进行优化,向上是支撑各种应用,核心的部分有训练框架,有了很多数据,跟应用相关的数据,然后进行训练,训练得到模型。然后预测框架会基于已经训练好的模型,针对应用与应用相结合,最后实现真正的应用。除了训练框架和预测框架以外,还有相应的各种辅助工具。

  他认为,深度学习一旦应用到某一个行业里面,包括旅游、物流、零售、汽车等,都会带来很大的商业价值的提升。 此外,王海峰还介绍了百度的深度学习平台飞桨,英文名字叫PaddlePaddle。目前,飞桨官方支持超过70个主流的模型,包括视觉的自然语言处理的、推荐的、语言的等。(雪梅)

  以下为王海峰演讲全文:

  今天会议的主题是软件,我就跟大家分享一个人工智能时代非常重要的技术软件平台,深度学习平台。百度的深度学习平台的中文名是飞桨、英文名字叫PaddlePaddle。

  我们知道人类社会过去几百年已经经历了三次工业革命,第一次工业革命为人类带来了机械技术,第二次带来了电器技术,第三次带来了信息技术。每一次工业革命核心的驱动技术都有一个共同特点,就是它们是相对通用的,不仅仅是某一个行业,而是在各行各业都会起作用。就像我们熟悉的电在我们生活中已经无处不在。我们很幸运,我们处在一个时代,这个时代是正在经历人类的第四次工业革命,这次工业革命核心的驱动技术就是人工智能技术,人工智能已经成为新一轮科技革命和产业变革的核心驱动力量,人工智能正推动我们这个时代进入智能时代。

  人工智能经历过60多年的发展,应该说经历了三个很典型的阶段,从人工智能技术的角度,早期是靠人工的规则,后来有了机器学习,过去这些年推动人工智能在各行各业广泛应用的是深度学习,当然深度学习也是机器学习的一个分支。

  我刚才说起推动工业革命的技术往往是通用的,我们看几个例子,比如说人工智能里面一个很典型的任务做文字的识别。早期文字识别更多用规则,然后引入一些机器学习的技术,那时候一个文字识别过程很复杂,比如一个典型的OCR系统要分六步,从区域检测、行分割、字分割等等处理下来才能识别出来一些文字。用了深度学习技术以后,缩减为两步,一个检测一个识别,当然依托的是大数据的技术。深度学习技术在OCR进一步的演进变成了端到端的识别系统,实现了多任务联合训练,端到端的联合学习,包括特征的互用和互补。

  再看另一个在人工智能领域的技术,自然语言处理,经历了从人工规则到自动学习到深度学习过程,早期自然语言处理规则往往是靠专家,尤其是语言学专家结合各种领域知识来写的规则,这时候开发成本非常高。而且从一个领域迁移到另一个领域,或者从一个语言迁移到另一个语言都非常困难。后来有了机器学习自然语言处理以后,有大量的模型,我们为了使用这些模型要进行数据选择、训练、模型的选择还有特征工程等等,虽然自动化程度高了很多,但还很不标准化,同时过程也很复杂。用了深度学习以后进一步实现了更好的标准化和自动化。深度学习既然已经广泛应用,它的核心东西是什么?核心的东西是深度学习框架。我们可以说深度学习框架是智能时代的操作系统,它向下会对接芯片,芯片会针对深度学习框架里面的这些运算来进行优化,向上是支撑各种应用,核心的部分有训练框架,有了很多数据,跟应用相关的数据,然后进行训练,训练得到模型。然后预测框架会基于已经训练好的模型,针对应用与应用相结合,最后实现真正的应用。

  除了训练框架和预测框架以外,还有就是有相应的各种辅助工具。比如说怎么样让网络选择更自动化,比如说更低门槛的进入等等,有很多辅助工具。

  这就是百度的飞桨深度学习平台,大家看到这个平台最下面是核心框架,我刚才说的训练框架、预测框架等等都在里面,但是每一部分又有很多事情要做,比如说大规模分布式训练、工业级预处理,要做安全的加密等等,同时为每一个典型的领域又会提供很多的模型库,比如说自然语言处理,对计算机视觉、语音、推荐等等这些。工具组建,除了基本的学习框架以外,有深度学习的工具组建、有迁移学习的、有强化学习的,同时还有自动化的网络设计。从服务平台这一层,比如说EDL,你即使不懂深度学习技术也不懂写代码,利用这个平台可以零基础的定制和训练以及提供服务。

  现在飞桨已经官方支持超过70个主流的模型,包括视觉的自然语言处理的、推荐的、语言的等等。比如说像其中刚才提到的自然语言处理,就提供了一系列面向工业应用的中文的LP的工具集,包括基础网络层,也包括应用层,比如说中文的词法分析、情感分析、语义匹配、对话等等。

  这里我讲一个对于语义的解释,基于语义的解释可以完成很多分析理解处理的任务。大家可能听说过Google出了一个自动学习,我们从数据里面去自动训练自动学习,但同时,人类的智能大家都知道,很重要一点还是有知识的,所以我们做的知识增强的语义表示模型,大家可以看到,跟基础的系统相比,各方面的性能都会得到一个很大的提升,而且已经得到了广泛的应用。

  再举一个视频的例子,视频的工具集包括视频的自动分类、视频的语义项量、视频标签集等等,这些也会应用于很多任务,比如做信息流、包括搜索包括语义上的各种系统。右边是一个视频的例子,大家可以看到怎么样分析这个视频。 为了用好深度学习,一方面算法要有先进的算法,另一方面算力的支撑也非常重要,所以我们有一系列分布式计算的技术里面,大家可以看到,从单机单卡到单机双卡到多机多卡,整个训练的技术也会有很大的提升。为了支撑,我们有一个大规模的参数服务器,这个也是在应用中很重要的一部分,它可以适应不同的场景,比如说有超大规模的数据、海量的特征以及适应数据自膨胀的特点,包括高频率的可以进行模型的迭代。 为了做工业机数据的自处理,我们有一系列技术,右边有一些技术优势,比如说分布式文件系统,IO直尺,高性能、多生产者、多消费者的设计等等这些。 还有很重要的一点,我们为了让它更广泛的应用,往往在做一个应用的时候,不仅仅是其中一个模块做好就行了,更重要的还要有端到端的全流程部署方案。

  大家看到,我们要做好这个全流程的真正部署到一个应用里面去,需要有底层硬件的支持,不管CPU、GPU还是移动端的硬件,以及相应要有推理引擎,然后有各种不同的程序设计语言的支持,相应的工具以及提供软硬一体的方案等等一系列,形成全流程的部署方案。 举个例子,比如说我们把这样一套设备端部署解决方案用来进行识别虫害,这样一个任务,我们涉及到底层的平台,涉及到工具站,涉及到模型怎么样训练、怎么样部署等等,当然这一系列是基于百度的平台支持。

  我们都知道现在深度学习的核心是神经网络,网络第一步要干什么?第一步要做网络结构的设计,网络结构设计早些年更多是靠人类专家来做这个设计,靠他的经验,经验更足,人可能把网络设计的更好,从而得到更好的结果。但是这个过程其实是专业度很高同时也不容易的一个过程,现在我们已经可以进行自动化的网络设计,这里就是一个自动化网络设计的例子,大家可以看到,左边是专家手工设计的网络,右边是机器自动设计的一个网络。 我们基于这套自动设计网络AutoDL,也进行了开源,也在PaddlePaddle进行了AutoDL部分的开源,同时也进行了模型的开源,效果达到了比人工设计网络更好的效果,相当于它自动化程度更高,省时省力,同时效果也更好。

  前面我提起深度学习现在用的非常广,但并不是每一个人都很全面的掌握了深度学习技术,那么我们能提供一个更方便的工具平台,可以让基础不太多甚至零基础的人也能来用、来解决自己的问题,我们提供了这样一个定制化训练和服务平台,EasyDL,可以把各种数据送进来进行加工学习、部署,最后提供服务,既可以提供云端服务也能提供各种智能设备上的服务。

  这里我不再讲EasyDL背后的各种技术,但是给大家看一个曲线,我们看一下基于EasyDL进行模型训练的数量在持续的增长,现在已经有超过三万个第三方应用的模型,基于EasyDL实现,然后来解决自己的任务。

  这是另一个例子,农作物,在农耕地块的识别,这里涉及到在这个应用场景里面提取相应的数据,然后用卫星遥感数据进行模型训练,然后进行融合、部署,最后完成一个,比如说这个地块里面,作物长得怎么样,有没有灾害等等进行这种识别,自动的就可以进行农耕地的监测。 刚才举的只是两个行业,我们看一下,实际上百度的飞桨这个深度学习平台,已经用在很多行业里面,用在很多行业里面,我们也相应的要看一看各个行业发展的趋势。当然这个报告是麦肯锡提供的报告,我们可以看到,深度学习一旦应用到某一个行业里面,可能带来的提升幅度,大家看到,旅游、物流、零售、汽车等等,各个行业都可以因这个深度学习的应用带来很大的商业价值的提升。 时间也到了,我今天的报告就到这里,我希望我们的飞桨深度学习平台能推动人工智能发展,加快产业智能化。

  谢谢大家!

  本网声明:本网登载此文仅出于信息分享,并不意味着赞同其观点及其描述,不承担侵权行为的连带责任。如该信息涉及版权等问题,请联系我们做删除处理。

声明:重庆之窗登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考。

重庆之窗 版权所有 未经授权请勿转载 QQ咨询:1551752977


网站备案号:ICP备13067700号