加入收藏 | 设为首页 | 会员中心 | 我要投稿 PHP编程网 - 襄阳站长网 (https://www.0710zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 业界 > 正文

Google的深度神经网络强在哪里?谷歌首席科学家说了这些奇妙的特性

发布时间:2016-03-29 06:21:51 所属栏目:业界 来源:雷锋网
导读:谷歌首席科学家Jeff Dean:Google的深度神经网络强在哪里,以及,有什么奇妙的特性?

按:作者董飞,数据科学家,微信公号“董老师在硅谷”。

Google的深度神经网络强在哪里?谷歌首席科学家说了这些奇妙的特性

写在前面

2016年3月7日,谷歌首席科学家,MapReduce、BigTable等系统的创造者,Jeff Dean受邀韩国大学,演讲主题《大规模深度学习》,这里部分来自highscalability的文字和笔者Youtube上的听录。刚好演讲在AlphaGo和李世石比赛之前,观众也问了他的预测,他只是说训练了5个月的机器跟顶尖高手的差距不好说;还有人问道他喜欢的编程语言(C++爱恨交织,喜欢Go的简洁,Sawzall才是真爱);在Google作为首席一天是怎么过的(要吃好早饭,到处闲逛闲聊,找到那些每个领域专家一起攻克难题)。

Google的深度神经网络强在哪里?谷歌首席科学家说了这些奇妙的特性

| 整合意味着理解

如果你不理解信息中的奥秘,那么你也很难去组织它。

Jeff Dean是Google系统架构组院士,在讲座:“大规模深度学习构建智能计算机系统”中提到这句和Google的使命:整合全球信息,使人人皆可访问并从中受益。早期他们通过收集,清理,存储,索引,汇报,检索数据完成“整合”的工作,当Google完成这个使命,就去迎接下一个挑战。

理解是什么含义?

Google的深度神经网络强在哪里?谷歌首席科学家说了这些奇妙的特性

看到这张图,你马上知道是小宝宝抱着泰迪熊睡觉。而看到下张街景,马上意识到纪念品店里面有打折信息。其实直到最近,计算机才可以提取图片中的信息。

Google的深度神经网络强在哪里?谷歌首席科学家说了这些奇妙的特性

如果想从图像去解释物理世界,计算机需要去选择跟那些感兴趣的点,阅读文字并去真正理解。

像下面的文字“car parts for sale”,传统的Google通过关键字匹配来给出结果,但更好的匹配是第二个。这是一个需求深度理解的过程,而不能停留在字面,要去做一个优秀搜索和语言理解产品。

Google的深度神经网络强在哪里?谷歌首席科学家说了这些奇妙的特性

| Google的深度神经网络历史

Google的深度神经网络强在哪里?谷歌首席科学家说了这些奇妙的特性

Google跟其他公司的不同是,2011年就开始Google大脑计划,当时想通过使用神经网络来提升技术水准,但并没有把研究做成像大学象牙塔那种,而是结合安卓,Gmail,图片去改进产品解决真正问题。这对其他公司也是很好的借鉴,把研究和员工工作结合起来。

神经网络老早就开始研究,上世纪60年代发明,在80年代和90年代早期也流行过,后来又不火了。两个原因:缺少计算能力去训练数据模型,这样也不能用来做更大规模的问题;2)缺少大量有效的数据集。而Google通过算法的力量,在加上他们强大的基础架构,海量数据集创造了AI的绝佳温床。

Google的深度神经网络强在哪里?谷歌首席科学家说了这些奇妙的特性

深度学习一开始从少数的产品组开始,一段时间后反响很好,能解决之前不能做的,就更多的团队开始采纳。使用深度学习的产品有:安卓,Apps,药品发现,Gmail,图片理解,地图,自然语言,图片,机器人,语音翻译等。

Google的深度神经网络强在哪里?谷歌首席科学家说了这些奇妙的特性

深度学习能应用到很多领域原因是那些通用模块:语音,文字,搜索词,图片,视频,标签,实体,短语,音频特性。输入一类信息,决定你想要的输出,收集训练数据作为你想要计算的潜在函数,然后就放手不管了。

Google的深度神经网络强在哪里?谷歌首席科学家说了这些奇妙的特性

模型很赞的原因是因为灌了很多原始形式的数据。你不需要教工程师很多特征点,模型的力量在于从观察一些例子就能自动识别数据中的有用信息。

| 深度神经网络是什么?

神经网络就是一些从数据提炼的复杂函数。从一个空间输入在转化为另一个空间的输出。

这里的函数不是像平方,而是真正复杂的函数。当你给出一些原始像素,比如猫,而输出就是对象的类别。

Google的深度神经网络强在哪里?谷歌首席科学家说了这些奇妙的特性

深度学习中的“深度”指的是 神经网络中的层数。这个系统的良好性质是一组简单的可以训练的数学函数集合。深度神经网络适用于很多机器学习风格。

比如你给输入一张猫的图片,输出是人工标记的猫图片,这是监督学习。你把很多这样监督样本给系统,让它去学习近似的函数,如同从监督样本中观察出来的。

还有一种是非监督学习,给出一个图片,你也不知道里面是啥,系统可以学习去寻找在很多图片中出现的模式。这样即使不认识图片,它也能识别所有的图片中都有一只猫。

增强学习也适用,这也是AlphaGo用到的技术。

| 什么是深度学习?

深度网络模型是类似于大脑行为的原理。但不是具体模拟神经元如何工作。而是一种简单抽象的神经元版本。

Google的深度神经网络强在哪里?谷歌首席科学家说了这些奇妙的特性

神经元有一组输入。真正神经元会有不同的强度的输入。在人工智能网中试图去学习到这些边上的权重,去加强不同输入的联系。真正神经元通过输入和强度的组合去决定要不要生成脉冲。

人工神经元不会产生脉冲,但会生成一个数值。神经元的函数就是通过非线性函数计算输入的加权乘以权重之和。

典型的非线性函数就是整形线性单元(max(0, x)),在90年代很多非线性函数是很平缓的sigmoid()函数或者tanh()函数。但对于神经元来说产生的数值是不是更接近0对优化系统更有利。比如如果神经元有3个输入 X1, X1, X3,权重分别是 -0.21, 0.3, 0.7,计算就是

y = max(0, -.0.21*x1 + 0.3*x2 + 0.7*x3)。

为了决定图片到底是猫还是狗,这个图片要经过很多层。这些神经元根据输入来产生下一步。

Google的深度神经网络强在哪里?谷歌首席科学家说了这些奇妙的特性

最低层的神经元会查看像素的小块。更高层的神经元会看下层神经元的输出再决定是否生产。

这个模型也会错,比如说这里是猫,但事实上是狗。那么做错误决定的信号就会返回到系统中做调整,让剩余的模型在下一次查看图片时候,更可能输出狗。这就是神经网络的目标,通过模型小步调整边的权重让它更可能去得到正确答案。你可以通过所有样本去聚合,这样可以降低错误率。

学习算法其实比较简单,如下:

选择随机训练样本“(输入,标签)”,比如上面猫图和想要的输出标签,‘猫’

运行神经网络,在输入上去查看它产生的。

调整边的权重让最后输出更接近于“标签”上的。

如何调整边的权重去保障输出更接近于标签呢?

Google的深度神经网络强在哪里?谷歌首席科学家说了这些奇妙的特性

             

反向传播:积分的链式规则在决定高层神经网络中使用,如果选择是猫而不是狗呢?得想办法去调整高层的权重去让它更可以决定是“狗”。

根据箭头方向和权重去让它更可能说是狗。不要步子迈得太大因为这种表面很复杂,微调一小步让它下次更可能给出狗的结果。通过很多迭代以及查看例子,结果更可能会是狗。通过这个链式法则去理解底层参数改变是如何影响到输出的。说白了就是网络变化回路反馈到输入,使得整个模型更适应去选择“狗”。

Google的深度神经网络强在哪里?谷歌首席科学家说了这些奇妙的特性

权重的微调

Google的深度神经网络强在哪里?谷歌首席科学家说了这些奇妙的特性

(编辑:PHP编程网 - 襄阳站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!