赞赏支持科普,欢迎转发

日期:2019-11-10编辑作者:威尼斯在线平台

原标题:新一代AI顾泽苍:自组织概率模型SDL主导的机器学习(公号回复“顾泽苍AI”下载PDF资料,欢迎转发、赞赏支持科普)

原标题:神经网络、深度学习、人工智能、智能制造2018资料汇编(公号回复“AI2018资料”下载PDF资料,欢迎转发、赞赏支持科普)

科学Sciences导读:自组织概率模型SDL主导的机器学习是新一代人工智能理论技术。工学博士顾泽苍教授提出并工程落地。他带领下“探究新一代人工智能理论沙龙”三年多来经常热烈讨论AI理论、技术、活动信息,极大促进领域发展。由中国嵌入式系统产业联盟与北京经开投资开发股份有限公司联合在2018年北京世界机器人大会上主办的“新一代人工智能创新专题论坛”于2018年8月18日上午隆重召开。本文根据顾博士PPT总结,附顾泽苍博士简历。欢迎留言探讨科学、技术、工程、方案。

科学Sciences导读:本文汇编五篇科普文章:一文读懂神经网络;深度学习并非万能:你需要避免这三个坑;2018年全球AI突破性技术TOP10;新一代人工智能领域十大最具成长性技术展;先进制造业-数字化解决方案。欢迎留言探讨科学、技术、工程、方案。

新一代AI顾泽苍:自组织概率模型SDL主导的机器学习(15023字)目录

神经网络、深度学习、人工智能、智能制造资料汇编(16218字)目录

A新一代AI顾泽苍:自组织概率模型SDL主导的机器学习(11886字)

. 1

1 顾泽苍:新一代人工智能——产业推动的核心理论

A一文读懂神经网络(7179字). 2

2 新一代人工智能自组织机器学习介绍

一.神经网络的发展历史... 2

3 北京世界机器人大会:新一代人工智能创新研讨会2018北京共识

二.感知器模型... 2

4 不适合深度学习的情况

三.前馈神经网络... 3

B顾泽苍博士、阿波罗集团简历(2866字)

四.后向传播... 4

1 创始人顾泽苍简介

五.深度学习入门... 6

2 网屏编码技术介绍

B深度学习并非万能:你需要避免这三个坑(1460字). 11

3 阿波罗集团介绍

一、深度学习不适用于小数据集... 12

参考文献(769字)Appx.数据简化DataSimp社区简介(835字)

二、深度学习运用于实践是困难且昂贵的... 12

A新一代AI顾泽苍:自组织概率模型SDL主导的机器学习(11886字)

三、深层网络不易解释... 12

新一代AI顾泽苍:自组织概率模型SDL主导的机器学习

C2018年全球AI突破性技术TOP10 (5240字). 13

文|顾泽仓2017-11-19Sun,整理|秦陇纪2018-08-26Sun

1 基于神经网络的机器翻译... 13

2017年11月19日,中国光谷国际人工智障产业峰会上,中国嵌入式系统产业联盟新一代人工智能专业委员会主任顾泽苍博士,作了题为《新一代人工智能「产业推动的核心理论」-探究**Hindon的Capsules理论的实现行踪》(Ph.D.顧澤蒼)**的报告。报告PPT目录CATALOG分为:1.人工智能所面临的重大危机与挑战;2.可实现全面产业化的SDL模型的构成;3.SDL模型的应用展望,三部分内容如下。

2 基于多传感器跨界融合的机器人自主导航... 14

A1 顾泽苍:新一代人工智能——产业推动的核心理论

3DuerOS对话式人工智能系统... 15

各位专家来宾辛苦了!请稍微允许我做一个简短讲演,今天在中国光谷人工智能盛会上,我想奉献一个新一代人工智能产业推动的核心理论,这将是一个全新的人工智能模型。在这里我想分三个部分介绍,一是人工智能所面临的重大危机和挑战,在大家对人工智能群情激扬的时候,我想泼一些冷水。第二可实现全面产业化**SDL模型的构成,我们想以我们的算法抛砖引玉;我相信通过今天听到我们这个模型以后,我们在座每个人自己就能造模型。三是介绍一下SDL模型的应用展望**。

4 移动AR技术... 16

图片 1

5 生物特征识别技术... 16

1 人工智能所面临的重大危机与挑战

6 机器人流程自动化... 17

近年以来,阿尔法GO战胜了全人类棋手,全世界为此震惊,可以讲,当今没有一项技术被全世界如此这么大资源所关注,我们在座的每一个专家,我想也是群情激扬,立志在这一次人工智能高潮中建功立业,我想没有一个人不这么想的。

7 像素级声源定位系统PixelPlayer. 18

但是,我们出问题了,人工智能主流算法“深度学习”严重的破绽被发现了、深度学习发明者提出“我不干了”,这个可能在座的大家都知道。为什么他出现破绽?简单讲我是20多年前曾经解决过大规模集成电路的组合问题,确实也是当时从算法上找不到跟今天阿尔法GO同样的算法,通过概率、模糊关系,通过对抗学习,很成功的在当时仅16位的计算机上实现了相当大规模集成电路的组合。所以我今天看阿尔法GO其实就是一个算法,我们不要认为它是一个很神奇的东西,它所用的方法和二十多年前相差不了多少。所以我觉得我们还是有话语权的。

8 兼顾高精度学习和低精度推理的深度学习芯片... 18

面对人工智能殖民了,我们是不是眼前一片黑暗?不是,面对这种情况我们要重新的、冷静的审视一下。有三个问题要大家搞清楚。

9 智能代理训练平台... 19

第一,我们要重新考虑究竟什么叫人工智能。可能大家最讨厌的就是这个问题了,我们已经讨论N次了。我说不是,我们到今为止就是追求有严密性,这是做教材、写书。我是搞应用,我是站在让这一代全产业应用人工智能。如果上一代人工智能特点是知识库、专家系统,这一代人工智能是机器学习解决概率问题。如果把这个概念讲清楚了,整个产业都会应用人工智能。

10 入耳式人工智能... 20

第二,我们要感谢Hinton,他在关键时候把人工智能方向挑战过来了。人工智能要解决概率问题,不是用大模型解决小问题,所以这一次Hinton提出要用概率模型,我非常要感谢他,如果我提出搞概率模型,大家谁都不会信;但是他说搞,大家都跟着他走。但是,我们再不能盲目崇拜他了,说句实话,他的深度学习我们已经经历了。如何看待Hinton?我个人的观点是定义什么叫CapsNet理论,按照空间定义是三个条件:第一是网络结构,不要离开神经网络,从网络结构上还是要坚持,但是再也不要传统神经网络了,它是走不下去的。第二它是概率信息的传输,第三目前模拟大脑的结构是不可能的,我们模拟大脑的机能。我待会会介绍,如何模拟一个完整的大脑机能。

D新一代人工智能领域十大最具成长性技术展望(2114字). 21

第三,产业界不是光要图象识别、声音识别,我们机器当中有很多环节,今后在各个环节上都要用上人工智能。产业应用是各种各样情况的,各种各样的情况要用各种各样的模型,各种各样的模型要靠我们在座的每一个人自己来创造模型。大家说中国宣布了四个大平台,大家很担忧,是不是又被垄断了,我马上回答说不一定,因为CapsNet的观念大家理解了,我们每个人都可以造平台了,你的平台没有人用了。

1、对抗性神经网络... 21

1.1 人工智能面临的重大的危机与挑战:

2、胶囊网络... 21

玻尔滋曼梦想破灭!!

3、云端人工智能... 22

分析还原思想产物!!

4、深度强化学习... 22

公式性的算法!!

5、智能脑机交互... 23

在人工智能发展的关键时刻Hindon宣布了主流算法被终结!!

6、对话式人工智能平台... 23

图片 2

7、情感智能... 24

1.2 人工智能发展如何实现「零」的腾飞:

8、神经形态计算... 24

我们要审慎的重新讨论什么是人工智能?

9、元学习... 25

我们要审慎的评价CapsNet到底有多强大??

10、量子神经网络... 26

我们要审慎的考虑如何才能在产业界大规模应用???

E先进制造业-数字化解决方案(64字). 26

图片 3

参考文献(354字)Appx.数据简化DataSimp社区简介(835字)28

1.3 如何解决跨越欧几里德空间与概率空间的距离?

A一文读懂神经网络(7179字)

(一)满足距离尺度:

一文读懂神经网络

1,非负性:∀w,v,d(w,v)≥0

文|孙飞(丹丰),汇编:数据简化社区秦陇纪,2018-08-28Tue

2.非退化性:d(w,v)=0, 则w=v

演讲嘉宾简介:孙飞(丹丰),阿里巴巴搜索事业部高级算法工程师。中科院计算所博士,博士期间主要研究方向为文本分布式表示,在SIGIR、ACL、EMNLP以及IJCAI等会议发表论文多篇。目前主要从事推荐系统以及文本生成相关方面研发工作。

3.对称性:∀w,v,d(w,v)=d(v,w)

本次的分享主要围绕以下五个方面:

4.三角不等式:∀w,r,v d(w,v)≤d(w,r)+d(r,v)

神经网络的发展历史

问题点:是概率空间距离的近似解,存在着v(x)≠0等问题

感知器模型

(二)Kullback-Leibler距离:公式如下图

前馈神经网络

问题点:是概率空间距离的近似解,存在着非线性函数的问题,以及v(x)≠0等问题

后向传播

(三)L2距离:公式如下图

深度学习入门

问题点:日本学者2013年提出的,声称是可以实现距离尺度的对称性,但是就因为这种定义的方法不符合概率空间距离是不对称的特性。

一.神经网络的发展历史

图片 4

在介绍神经网络的发展历史之前,首先介绍一下神经网络的概念。神经网络主要是指一种仿造人脑设计的简化的计算模型,这种模型中包含了大量的用于计算的神经元,这些神经元之间会通过一些带有权重的连边以一种层次化的方式组织在一起。每一层的神经元之间可以进行大规模的并行计算,层与层之间进行消息的传递。

图4 机器学习所面临的问题

下图展示了整个神经网络的发展历程:

小结:上述三种距离均不满足在欧几里德空间中的不同概率空间之间的机器学习数据所需要解决的距离问题!!

图片 5

2 可实现全面产业化的SDL模型的构成

神经网络的发展历史甚至要早于计算机的发展,早在上个世纪四十年代就已经出现了最早的神经网络模型。接下来本文将以神经网络的发展历程为主线带领大家对神经网络的基本知识作初步了解。

下面我抛砖引玉,介绍一下我们新的模型,我们自己怎么造模型。这里面我们经过二十多年的发展,有两个比较重要的成果。

第一代的神经元模型是验证型的,当时的设计者只是为了验证神经元模型可以进行计算,这种神经元模型既不能训练也没有学习能力,可以简单的把它看成是一个定义好的逻辑门电路,因为它的输入和输出都是二进制的,而中间层的权重都是提前定义好的。

2.1 首次提出可以统一欧式空间与概率空间的距离的定义

神经网络的第二个发展时代是十九世纪五六十年代,以Rosenblatt提出的感知器模型和赫伯特学习原则等一些工作为代表。

第一,面对我们现在在人工智能当中所面临的数据,人工智能的是概率分布,是无数个空间关系问题,归根到底,人工智能要解决两个概率分布中间有一个数,这个数属于谁,这是最基本的问题。在这里就遇到了概率空间具体问题,大家也说了,概率空间距离数学家们搞了很多,但是今天咱们不讲这个问题,简单讲一下都没有走通,到最后都进行了某些化简,2003年日本一个学者自己又定义了一个模型。所以,我们可以看出,从数学角度上想找到一个不同距离尺度的公式是非常难的。我们在大量的应用实践当中发现,作为一个数据,从欧几里得空间进入到概率空间的时候,它产生了什么误差,我们从这个角度找到了误差的表达公式,我们就构建了一个非常严谨的,在欧几里得空间的、各个概率空间之间的距离,我们看这个公式,如果仅看上面就是欧几里得的距离公式,下面得出的值是数据进入概率空间之后的误差,用这个简单的办法解决了实体当中的应用。

二.感知器模型

为提高机器学习效率,在不同空间之间的不同距离尺度,以及即使是概率空间目前也没有一个严密的距离的解的情况下,提出了可以统一欧几里德空间与概率空间的距离:

感知器模型与之前提到的神经元模型几乎是相同的,但是二者之间存在着一些关键的区别。感知器模型的激活函数可以选择间断函数和sigmoid函数,且其输入可以选择使用实数向量,而不是神经元模型的二进制向量。与神经元模型不同,感知器模型是一个可以学习的模型,下面介绍一下感知器模型的一个优良特性——几何解释。

图片 6

我们可以把输入值(x1, . . . , xn)看作是N维空间中的一个点的坐标,w⊤x−w0 = 0 可以认为是N维空间中的一个超平面,显然,当w⊤x−w0<0时,此时的点落在超平面的下方,而当w⊤x−w0>0时,此时的点落在超平面的上方。感知器模型对应的就是一个分类器的超平面,它可以将不同类别的点在N维空间中分离开。从下图中可以发现,感知器模型是一个线性的分类器。

图5 Δ(v)为不同空间之间针对v概率分布的方向的距离误差

图片 7

2.2 自组织(Self-Organization)的无监督学习模型

对于一些基本的逻辑运算,例如与、或、非,感知器模型可以非常容易地作出判断分类。那么是不是所有的逻辑运算都可以通过感知器进行分类呢?答案当然是否定的。比如异或运算通过一个单独的线性感知器模型就很难作出分类,这同样也是神经网络的发展在第一次高潮之后很快进入低谷的主要原因。这个问题最早在Minsky等人在关于感知器的著作中提出,但其实很多人对这本著作存在误区,实际上Minsky等人在提出这个问题的同时也指出异或运算可以通过多层感知器实现,但是由于当时学术界没有有效的学习方式去学习多层感知器模型,所以神经网络的发展迎来了第一次低谷。

再一个问题,如何解决无监督学习问题。大家都在议论,未来是小数据、是无监督学习,但是大家也认为无监督学习还需要相当长的时间才能出现。其实个模型二十年前就出来了,只不过我们没有公布,只是作为企业内部的诀窍,2004年才申报了专利。介绍无监督学习之前我们先谈一下,大家追求的机器学习都需要追求哪些方面?首先,是要有强大性,所以我们未来的模型一定是处理能力,或者说我在处理精度上是可以无限深入的模型。另外,叫“学习数据无限小、数据结果要无限大”,以及提出一个系统当中的机器学习不是一个,而是很多个分散系统,这样的话这个系统才海大。另外是适用性,手机也可以用。全系统的原理是透明的,没有黑箱问题。

关于多层感知器模型实现异或操作的直观几何体现如下图所示:

基于这样的理念我们搞的这个无监督学习,它实际上是一个迭代公式,用了一个概率的尺度,而不是欧几里得空间的距离。你给了若干个数据,它能得出一个最大概率的值,另外它可以给出最大概率的尺度,这个尺度就是神经元的法值。

图片 8

图片 9

三.前馈神经网络

图6 概率尺度自组织机器学习单元符号

进入十九世纪八十年代之后,由于单层的感知器神经网络的表达能力非常有限,只能做一些线性分类器的任务,神经网络的发展进入了多层感知器时代。一个典型的多层神经网络就是前馈神经网络,如下图所示,它包括输入层、节点数目不定的隐层和输出层。任何一个逻辑运算都可以通过多层感知器模型表示,但这就涉及到三层之间交互的权重学习问题。将输入层节点xk乘以输入层到隐层之间的权重vkj,然后经过一个如sigmoid此类的激活函数就可以得到其对应的隐层节点数值hj,同理,经过类似的运算可以由hj得出输出节点值yi。

上图是我们所追求的机器学习,以及概率尺度自组织机器学习特点。

需要学习的权重信息就是w和v两个矩阵,最终得到的信息是样本的输出y和真实输出d。具体过程如下图所示:

2.3 图像识别的SDL分散机器学习模型

图片 10

这就是全新的人工智能网络,大家会耳目一新的,这是以图象识别为例介绍的,这种新型神经网络有三层:第一是感知层,第二是神经层,第三是脑皮层,和大脑是一样的。我也征求了一下我国著名的哲学和复杂系的数学专家,他有一个三元理论,他说应该是符合三元的。但是这样的理论我们神经网络只有三层,目前我们理解能力范围内认为是三层。

如果读者有简单的机器学习知识基础的话,就会知道一般情况下会根据梯度下降的原则去学习一个模型。在感知器模型中采用梯度下降的原则是较为容易的,以下图为例,首先确定模型的loss,例子中采用了平方根loss,即求出样本的真实输出d与模型给出的输出y之间的差异,为了计算方便,通常情况下采用了平方关系E= 1/2 (d−y)^2 = 1/2 (d−f(x))^2 ,根据梯度下降的原则,权重的更新遵循如下规律:wj ← wi + α(d −f(x))f′(x)xi ,其中α为学习率,可以作人工调整。

图片 11

图片 12

图7 用于图像识别的SDL分散机器学习模型:识别对象(空间映射1,2,n)->感知层->神经层->脑皮层,对应现在的CNN特征映射、GAN博弈模型、强化学习模型。

四.后向传播

第一层是感知层,我们发现感知层和图像之间就是无监督学习,它可以把给定的区域通过无监督学习得到特征值,另外无监督学习抽取信息的时候可以迁移,就是这种无监督学习可以随着概率的位置发生变化的时候自动迁移,所以这就是CNN的特征映射。我们现在已经不是针对一个具体的位置进行学习了,而是抽取图像的若干个最大概率之间是什么结构,正如刚才IBM的老师介绍的,咱们固定的位置叫图象识别,我把它解构出来就变成了图象理解,你不用告诉它整体图象,你只需要给一部分就可以了。

对于一个多层的前馈神经网络,我们该如何学习其中所有的参数呢?首先对于最上层的参数是非常容易获得的,可以根据之前提到的计算模型输出和真实输出之间的差异,根据梯度下降的原则来得出参数结果,但问题是对于隐层来说,虽然我们可以计算出其模型输出,但是却不知道它的期望输出是什么,也就没有办法去高效训练一个多层神经网络。这也是困扰了当时学术界很长时间的一个问题,进而导致了上个世纪六十年代之后神经网络一直没有得到更多发展。

感知层和神经层干什么?因为我们要小数据,小数据一定要把对象的概率分布通过无监督学习学习下来,所以感知层和神经层之间的机器学习主要是学习概率分布。在最终结果的时候我们有三个结果,最初是完全按照人的大脑,当样本数据进来以后,让样本数据和已经学习的最大概率的值进行比对,比对的数据如果在概率分布的尺度以内,就认为这是对的,就输出1,这和咱们的大脑就非常接近,而且我们也是在大量的观察当中,就是人的脑在看一个图像,怎么看这个图像都不变,而我们现在用一个摄像机人不动的拍,拍出来也是十个样子。所以,我们感觉到人的眼是固定空间的传感器,它观测到的是最大概率值,从这个角度讲它就可以使咱们的性能提高。

后来到了十九世纪七十年代,有很多科学家独立的提出了一个名为后向传播的算法。这个算法的基本思想其实非常简单,虽然在当时无法根据隐层的期望输出去更新它的状态,但是却可以根据隐层对于Error的梯度来更新隐层到其他层之间的权重。计算梯度时,由于每个隐层节点与输出层多个节点之间均有关联,所以会对其上一层所有的Error作累加处理。

这个系统怎么样让它无限的深入?深度学习的无限深入是增加层,而我们是增加节点,甚至这一次CapsNet理论提出我有两个图象你能不能都识别?其实可以做几个并行的CapsNet层的一样的结果,它也可以分别学习图象,然后两个重合做一起,同样可以分别识别。

后向传播的另一个优势是计算同层节点的梯度和权重更新时可以并行进行,因为它们之间不存在关联关系。整个BP算法的过程可以用如下的伪码表示:

今天时间关系,我就把这个模型讲清楚了,后面的应用我顺便说一下。

图片 13

2.4 图像直接变换代码ITC(Image To Code)的实现

接下来介绍一些BP神经网络的其他性质。BP算法其实就是一个链式法则,它可以非常容易地泛化到任意一个有向图的计算上去。根据梯度函数,在大多数情况下BP神经网络给出的只是一个局部的最优解,而不是全局的最优解。但是从整体来看,一般情况下BP算法能够计算出一个比较优秀的解。下图是BP算法的直观演示:

因为这个模型比较强大,所以它识别的图象已经不用作为文件形式记录,可以直接变成代码。我们2014年就申报了专利,把图象变成代码,同样可以把声音变成代码,把人脸变成代码。我们最近还有一个很新的成果,就是在这组模型基础之上,实现了多函数的、多目标的知识获得。这种技术如果用在现在的自动驾驶里面,可以把优良驾驶员的驾驶情况变成数据。今天我们也公布了,在各个目标函数下它的概率分布是什么,再通过机器学习,我就可以在控制上——做到超越优良驾驶员的驾驶水平。我想这样概念作为谷歌也好,作为百度也好,他们还没有理解到,其实自动驾驶竞争的核心、人工智能竞争的核心还是在这方面。

图片 14

图片 15

在大多数情况下,BP神经网络模型会找到范围内的一个极小值点,但是跳出这个范围我们可能会发现一个更优的极小值点。在实际应用中针对这样的问题我们有很多简单但是非常有效的解决办法,比如可以尝试不同的随机初始化的方式。而实际上在深度学习领域当今比较常用的一些模型上,初始化的方式对于最终的结果是有非常大的影响的。另外一种使模型跳出局部最优解范围的方式是在训练的时候加入一些随机干扰(Random noises),或者用一些遗传算法去避免训练模型停留在不理想的局部最优解位置。

SDL模型在国际上最为关注的是可以通过手机就可以实现各种AI的应用。目前已经成功的是可将手机拍照的任何图像,经过SDL模型可生成10^36

BP神经网络是机器学习的一个优秀的模型,而提到机器学习就不得不提到一个在整个机器学习过程中经常遇到的基本问题——过拟合(Overfitting)问题。过拟合的常见现象是模型在训练集上面虽然loss一直在下降,但是实际上在test集上它的loss和error可能早已经开始上升了。避免出现过拟合问题有两种常见的方式:

2.5 自动驾驶多目的控制机器学习的「知识获得」模型的提出

提前停止(Early Stopping):我们可以预先划分一个验证集(Validation),在训练模型的同时也在验证集之中运行这个模型,然后观察该模型的loss,如果在验证集中它的loss已经停止下降,这时候即使训练集上该模型的loss仍在下降,我们依然可以提前将其停止来防止出现过拟合问题。

图片 16

正则(Regularization):我们可以在神经网络中边的权重上加一些正则。最近几年经常用到的dropout方式——随机丢一些点或者随机丢一些边,也可以看作是正则的一种方式,正则也是一种很有效的防止过拟合的应用方式。

由GPS地图控制、行驶周围环境、障碍物识别、车况信息、刹车油门机构等集成的行驶车线控制,可以实现自动驾驶。

十九世纪八十年代神经网络一度非常流行,但很不幸的是进入九十年代,神经网络的发展又陷入了第二次低谷。造成这次低谷的原因有很多,比如支持向量机(SVM)的崛起,支持向量机在九十年代是一个非常流行的模型,它在各大会议均占有一席之地,同时也在各大应用领域都取得了非常好的成绩。支持向量机有一个非常完善的统计学习理论,也有非常好的直观解释,并且效率也很高,结果又很理想。

2.6 「知识获得」的数据形式

所以在此消彼长的情况下,支持向量机相关的统计学习理论的崛起一定程度上压制了神经网络的发展热度。另一方面,从神经网络自身的角度来看,虽然理论上可以用BP去训练任意程度的神经网络,但是在实际应用中我们会发现,随着神经网络层数的增加,神经网络的训练难度成几何式增长。比如在九十年代早期,人们就已经发现在层次比较多的一个神经网络当中可能会出现梯度消失或者梯度爆炸的一个现象。

自动驾驶过程中产生的状态表征,可以看成是“知识获得”的数据形式。

举一个简单的梯度消失的例子,假设神经网络的每一层都是一个sigmoid结构层,那么BP向后传播时它的loss每一次都会连成一个sigmoid的梯度。一系列的元素连接在一起,如果其中有一个梯度非常小的话,会导致传播下去的梯度越来越小。实际上,在传播一两层之后,这个梯度已经消失了。梯度消失会导致深层次的参数几乎静止不动,很难得出有意义的参数结果。这也是为什么多层神经网络非常难以训练的一个原因所在。

图片 17

学术界对于这个问题有比较多的研究,最简单的处理方式就是修改激活函数。早期的尝试就是使用Rectified这种激活函数,由于sigmoid这个函数是指数的形式,所以很容易导致梯度消失这种问题,而Rectified将sigmoid函数替换成max(0,x),从下图我们可以发现,对于那些大于0的样本点,它的梯度就是1,这样就不会导致梯度消失这样一个问题,但是当样本点处于小于0的位置时,我们可以看到它的梯度又变成了0,所以ReLU这个函数是不完善的。后续又出现了包括Leaky ReLU和Parametric Rectifier(PReLU)在内的改良函数,当样本点x小于0时,我们可以人为的将其乘以一个比如0.01或者α这样的系数来阻止梯度为零。

3 SDL模型的应用展望

图片 18

3.1 未来应用前景

随着神经网络的发展,后续也出现了一些从结构上解决梯度难以传递问题的方法,比如元模型,LSTM模型或者现在图像分析中用到非常多的使用跨层连接的方式来使其梯度更容易传播。

未来应用前景:挑战四维空间视频检索、在流行学习上的机器学习能力确认、大众手机识别真伪、金融预测领域的应用等方面。

五.深度学习入门

图片 19

经过上个世纪九十年代神经网络的第二次低谷,到2006年,神经网络再一次回到了大众的视野,而这一次回归之后的热度远比之前的任何一次兴起时都要高。神经网络再次兴起的标志性事件就是Hinton等人在Salahudinov等地方发表的两篇关于多层次神经网络(现在称作“深度学习”)的论文。

3.2 SDL模型总结

其中一篇论文解决了之前提到的神经网络学习中初始值如何设置的问题,解决途径简单来说就是假设输入值是x,那么输出则是解码x,通过这种方式去学习出一个较好的初始化点。而另一篇论文提出了一个快速训练深度神经网络的方法。其实造成现在神经网络热度现状的原因还有很多,比如当今的计算资源相比当年来说已经非常庞大,而数据也是如此。在十九世纪八十年代时期,由于缺乏大量的数据和计算资源,当时很难训练出一个大规模的神经网络。

SDL模型的5大特点,图像映射可以通过节点无限增加、SDL可分布式处理学习数据、克服DL黑箱问题、图像识别可以发展成图像理解、解决IT产品AI导入问题,如下图。

神经网络早期的崛起主要归功于三个重要的标志性人物Hinton、Bengio和LeCun。Hinton的主要成就在于布尔计算机(Restricted BoltzmannMachine)和深度自编码机(Deep autoencoder);Bengio的主要贡献在于元模型在深度学习上的使用取得了一系列突破,这也是深度学习最早在实际应用中取得突破的领域,基于元模型的language modeling在2003时已经可以打败当时最好的概率模型;LeCun的主要成就代表则是关于CNN的研究。深度学习崛起最主要的表现是在各大技术峰会比如NIPS,ICML,CVPR,ACL上占据了半壁江山,包括Google Brain,Deep Mind和FaceBook AI等在内的研究部门都把研究工作的中心放在了深度学习上面。

图片 20

图片 21

4 参考文献

神经网络进入公众视野后的第一个突破是在语音识别领域,在使用深度学习理论之前,人们都是通过使用定义好的统计库来训练一些模型。在2010年,微软采用了深度学习的神经网络来进行语音识别,从图中我们可以看到,两个错误的指标均有将近三分之一的大幅度下降,效果显著。而基于最新的ResNet技术,微软公司已经把这个指标降到了6.9%,每一年都有一个明显的提升。

[1]S.Amari and H.Nagaoka. Methods ofInformaRon Gaometry. Oxford University Press,Providence,RI,USA,2006

图片 22

[2]X.Nguyen, M.J.Wainwright, andM.I.Jordan. EsRmaRng Divergence FuncRonals and the Liklihood RaRo by ConvexRisk MinmizaRon. IEEE TransacRons on InformaRon Theory, 56(11): 5847­5861,2010

到2012年,在图片分类领域,CNN模型在ImageNet上取得了一个较大的突破。测试图片分类的是一个很大的数据集,要将这些图片分成1000类。在使用深度学习之前,当时最好的结果是错误率为25.8%(2011年的一个结果),在2012年Hinton和它的学生将CNN应用于这个图片分类问题之后,这个指标下降了几乎10%,自2012年之后,我们从图表中可以观察到每一年这个指标都有很大程度的突破,而这些结果的得出均使用了CNN模型。

[3]M.Sugiyama, T.Suzuki, and T.Kanamori.Density RaRo EsRmaRon in Machine Learning. Cambridge University Press,Cambridge, UK,2012.

深度学习模型能取得如此大的成功,在现代人看来主要归功于其层次化的结构,能够自主学习并将数据通过层次化结构抽象地表述出来。而抽象出来的特征可以应用于其他多种任务,这也是深度学习当前十分火热的原因之一。

[4]M.Sugiyama, Tsuzuki, S.Nakajima,H.kashima, P.von Bunau, and M.Kawanabe. Direct Importance EsRmaRon forCovariate Shif AdaptaRon. Annals of the InsRtute of StaRsRcal MathemaRcs,60(4):699­746,2008.

图片 23

[5]C.Cortes, Y.Mansour, and M.Mohri.Learning Bounds for Importance WeighRng. In J.Lafferty, C.K.I.Williams, R.Zemel,J.Shawe­Taylor, and A.Culoka, editors, Advances in Neural InformaRon ProcessingSystems 23,Pages 442-450,2010.

下面介绍两个非常典型且常用的深度学习神经网络:一个是卷积神经网络(CNN),另外一个是循环神经网络。

[6]M.yamada, T.Suzuki, T.Kanamori,H.Hchiya, and M.Sugiyama. RelaRve Density-­RaRo EsRmaRon for Robust DistribuRonComparison. Neral ComputaRon, 25(5):1324-1370, 2013.

1.卷积神经网络

[7]S.Kullback and R.A.Leibler.On InformaRonand Sufficiency. The Annals of MathemaRcal StaRsRcs, 22:79-86,1951.

卷积神经网络有两个基本核心概念,一个是卷积(Convolution),另一个是池化(Pooling)。讲到这里,可能有人会问,为什么我们不简单地直接使用前馈神经网络,而是采用了CNN模型?举个例子,对于一个1000*1000的图像,神经网络会有100万个隐层节点,对于前馈神经网络则需要学习10^12这样一个庞大数量级的参数,这几乎是无法进行学习的,因为需要海量的样本。但实际上对于图像来说,其中很多部分具有相同的特征,如果我们采用了CNN模型进行图片的分类的话,由于CNN基于卷积这个数学概念,那么每个隐层节点只会跟图像中的一个局部进行连接并扫描其局部特征。假设每个隐层节点连接的局部样本点数为10*10的话,那么最终参数的数量会降低到100M,而当多个隐层所连接的局部参数可以共享时,参数的数量级更会大幅下降。

[8]Z.GU,S.Yamada, and S.Yoneda: “A DecomposiRon of VLSI Network Based on Fuzzy Clustering Theory”, Proc. JTC­CSCC’91, pp.483­488 (1991).

图片 24

[9]Z.GU,S.Yamada, and S.Yoneda: “A Fuzzy­TheoreRc Block Placement Algorithm for VLSIDesign”, IEICE Trans, Vol.E­74,No.10,pp,3065­3071(1991).

从下图中我们可以直观的看出前馈神经网络和CNN之间的区别。图中的模型从左到右依次是全连接的普通的前馈神经网络,局部连接的前馈神经网络和基于卷积的CNN模型网络。我们可以观察到基于卷积的神经网络隐层节点之间的连接权重参数是可以共享的。

[10]Z.Gu, S.Yamada, K.Fukunaga,and andS.Yoneda: “A New Algorithm on VLSI­Block PlacementUsing Fuzzy Theory”, Proc. JTC­CSCC’90, pp599­604 (1990).

图片 25

[11]Z.Gu, S.Yamada, and S.Yoneda: “TimingDriven Placement Method Based on Fuzzy Theory”, IEICE Trans., Vol.E75­A, No.7, pp917­919(1992).

另一个操作则是池化(Pooling),在卷积生成隐层的基础上CNN会形成一个中间隐层——Pooling层,其中最常见的池化方式是Max Pooling,即在所获得的隐层节点中选择一个最大值作为输出,由于有多个kernel进行池化,所以我们会得到多个中间隐层节点。

[12]Z.Gu, S.Yamada, K.Fukunaga,andS.Yoneda: “A Fuzzy­TheoreRc TimingDriven Placement Method”, IEICE Trans, Vol.E75­A, No.10, pp1280­1285 (1992).

那么这样做的好处是什么呢?首先,通过池化操作会是参数的数量级进一步缩小;其次就是具有一定的平移不变性,如图所示,假设图中的九个隐层节点中的其中一个发生平移,池化操作后形成的Pooling层节点仍旧不变。

[13]K.Pearson: “On the Criterion that aGiven System of DeviaRons from the Probable in the Case of a Correlated Systemof Variables is Such that it can be Reasonably Supposed to have Arisen fromRandom Sampling”, Philosophical Magazine Series 5, 50(302):pp157­175,1900.

图片 26

[14]M.R. Anderberg: “Cluster Analysis forApplicaRons”, Academic Press, Inc. 1973.

CNN的这两个特性使得它在图像处理领域的应用非常广泛,现在甚至已经成为了图像处理系统的标配。像下面这个可视化的汽车的例子就很好地说明了CNN在图像分类领域上的应用。将原始的汽车图片输入到CNN模型之中后,从起初最原始的一些简单且粗糙的特征例如边和点等,经过一些convolution和RELU的激活层,我们可以直观的看到,越接近最上层的输出图像,其特征越接近一辆汽车的轮廓。该过程最终会得到一个隐层表示并将其接入一个全连接的分类层然后得出图片的类别,如图中的car,truck,airplane,ship,horse等。

[15]Alex Krizhevsky, Ilya Sutskever, GeoffreyE. Hinton :”ImageNet ClassificaRon with Deep ConvoluRonal NeuralNetworks”,Advances in Neural InformaRon Processing Systems 25: pp1097-1105(2012).

图片 27

最后我谈一下参加这个会的体会,我感觉到了武汉的领导、武汉人工智能界的专家学者们对人工智能非常重视,所以我既然被请来了,我也想为武汉作贡献,如果在座的学者们非常愿意投身到这种人工智能模型的开发上,在我们本身所面临的产业上的应用,不管需要我们提供什么技术支持,或者咱们一起共同研究,我们都非常欢迎,感谢大家!

下图是早期LeCun等人提出的一个用于手写识别的神经网络,这个网络在九十年代时期已经成功运用到美国的邮件系统之中。感兴趣的读者可以登录LeCun的网站查看其识别手写体的动态过程。

A2 新一代人工智能自组织机器学习介绍

图片 28

新一代人工智能自组织机器学习介绍

当CNN在图像领域应用十分流行的同时,在近两年CNN在文本领域也得到了大规模应用。例如对于文本分类这个问题,目前最好的模型是基于CNN模型提出来的。从文本分类的特点来看,对一个文本的类别加以鉴别实际上只需要对该文本中的一些关键词信号加以识别,而这种工作非常适合CNN模型来完成。

文|顾泽苍,2018年8月18日

实际上如今的CNN模型已经应用到人们生活中的各个领域,比如侦查探案,自动驾驶汽车的研发,Segmenttation还有Neural Style等方面。其中Neural Style是个非常有趣的应用,比如之前App Store中有个非常火的应用Prisma,可以将使用者上传的照片转换成其他的风格,比如转换成梵高的星空一样的画风,在这其中就大量应用了CNN的技术。

2016年随着AlphaGo战胜全人类棋手,使世界为之震惊,历史上从来没有过,对于一个技术投入了世界上如此巨大的资源。国际大的IT公司利用这个契机,为了牟取暴利,取得世界人工智能的发展主导权,极力宣传“深度学习模型”,把“深度学习模型”神化,同时又抛出了各种类型的“深度学习模型”的开源程序,以及大型GPU服务器。

2. 循环神经网络

在这种势力的推动下,我国年轻的人工智能研究者只能在开源程序下研究,不了解“深度学习模型”的所以然,因此,受害匪浅。

关于循环神经网络的基本原理如下图所示,从图中可以看循环神经网络的输出不仅依赖于输入x,而且依赖于当前的隐层状态,而这个隐层状态会根据前一个x进行更新。从展开图中可以直观的理解这个过程,第一次输入的中间隐层状态S(t-1)会影响到下一次的输入X(t)。循环神经网络模型的优势在于可以用于文本、语言或者语音等此类序列型的数据,即当前数据的状态受到此前数据状态的影响。对于此类数据,前馈神经网络是很难实现的。

其实,“深度学习模型”存在着训练不可能得到最佳解,作为补救措施的SGD也只能得到局部最佳解。因此“深度学习模型”不可解决黑箱问题,因此不可用于工业控制等场所。再加上属于大模型解决小任务,投入产出不对称等等原因,最终被“深度学习模型”发明者英国Hinton教授宣告旧的“深度学习模型”终结。

图片 29

在此之后,开启了新一代人工智能的时代。一个经过20多年的声音识别,图像识别检验的,引领新一代人工智能发展的自组织机器学习**Self-Organization Learning(SOL)**,在2018年北京世界机器人大会的新一代人工智能创新专题论坛上正式发布。

提到RNN,那就不得不介绍一下之前提到的LSTM模型。实际上LSTM并不是一个完整的神经网络,它只是一个RNN网路中的节点经过复杂处理后的结果。LSTM中包含三个门:输入门,遗忘门和输出门。

自组织机器学习的原理是,首先立足于一个最大概率的尺度,可以产生最大概率的空间,在最大概率空间又可以生成新的最大概率尺度,依次迭代;最终可以获得超越统计学公式化的最大概率的解,以及最大概率的空间范围,并可以把目标函数的最大概率的分布信息获得。这样的三个结果,几乎是我们遇到的所有目标函数都希望获得的,例如在图像识别上,希望得到最大概率的特征抽出,最大概率的图像识别结果等等,因此可作为普遍应用的机器学习模型。

这三个门均用于处理cell之中的数据内容,分别决定是否要将cell中的数据内容输入、遗忘和输出。

自组织机器学习的特点还有,可以自律的朝着大概率的方向迁移,最终可以越过小概率的扰动的阻挡,最终在最大概率的区域上停止,因此自组织机器学习概念清楚,透明性强,可做到不管遇到什么状况,都具有可分析性。

图片 30

再有自组织机器学习还具有模仿人眼神经网络机能的特点,人眼在反复的看到一个物体时,其图像是没有任何变化的,但是通过光电识读若干次得到的图像差别很大,自组织机器学习的出现,使人们搞清了人眼的神经网络的机理,人的眼神经是在概率空间上观察物体的,所获的的信息是最大概率的信息,在最大概率空间中所得到的信息是一样的,所以最大概率的尺度就是人眼神经网络的阀值,所以采用自组织机器学习,可以获得同人眼近似的图像识别效果。

最后介绍一个目前非常流行的交叉领域的神经网络的应用——将一个图片转换成描述形式的文字或者该图片的title。具体的实现过程可以简单的解释为首先通过一个CNN模型将图片中的信息提取出来形成一个向量表示,然后将该向量作为输入传送到一个训练好的RNN模型之中得出该图片的描述。

自组织机器学习是属于小数据的无监督机器学习,无须训练也可以工作,5-10次以上的训练就足可以满足使用要求。不需要大数据的人工标注,降低了应用成本。

图片 31

自组织机器学习处理效率高,可以降低计算复杂度,根据应用的规模,可以小到手机,或一个CPU,大到GPU大型服务器,都可以高效率的导入自组织机器学习。特别是自组织机器学习可以解决几乎所有IT领域的问题,因此可以通过无穷多的自组织机器学习搭建出具有超出人们想象的功能的巨型人工智能系统。

直播视频回顾地址:

早在2016年,通过自组织及其学习连接成具有三层节点的新型神经网络诞生了。新型神经网络有感知层、神经层以及脑皮层,与生物神经结构吻合。感知层与神经层之间的节点之间连接着自组织机器学习,随着处理对象的复杂性,多样性等的应用要求,感知层与神经层的节点可以无限延伸,但是计算复杂度不变,不会因为系统的处理功能的提高而降低计算的效率,这是一般系统很难达到的系统结构。

B深度学习并非万能:你需要避免这三个坑(1460字)

由自组织机器学习应用于自动驾驶应用中,显示出独特的威力。针对目前自动驾驶控制的空前的复杂性,几乎成为NP控制问题,是通过传统控制方法无法解决自动驾驶系统的所有可能的控制。利用自组织机器学习搭建的人工智能系统,参与到自动驾驶的控制系统中,通过机器向人学习,机器的意识决定等可以使自动驾驶系统突破L3级,成为完全可以摆脱人的操作的新型自动驾驶系统。

深度学习并非万能:你需要避免这三个坑

自组织机器学习代表了新一代的人工智能,可以被广泛应用,并将使所有的应用领域发生颠覆性的改变。自组织机器学习可以引发新的工业革命的产生,可以实现人们不可想像的应用效果,可以大大加快机器代替人的社会发展步伐,可以让奋战在人工智能研究和应用领域中的每一位专家、学者和工程技术人员在本次人工智能的高潮中都有建功立业的机会。

文|George Seif,汇编:数据简化社区秦陇纪,2018-08-28Tue

A3 北京世界机器人大会:新一代人工智能创新研讨会2018北京共识

人工智能专家George Seif撰写博文《调整神经网络参数——三你不应该使用深度学习的理由》(Tweaking Neural Net Parameters--Three reasons that you should NOTuse deep learning),介绍当前深度学习比较火热的情景下需要避免的三个坑,本文为汉译版。

2018北京世界机器人大会:新一代人工智能创新研讨会北京共识

图片 32

2018年8月18日

图1 调整神经网络参数Tweaking Neural Net Parameters

2018年北京世界机器人大会的“新一代人工智能创新专题论坛”,2018年8月18日上午隆重召开,中国嵌入式系统产业联盟与北京经开投资开发股份有限公司联合主办。中国工程院李伯虎院士等专家应邀出席上午论坛,并进行了大会讲演。下午,新一代人工智能创新研讨会上,与会专家们就新一代人工智能的创新发展进行了广泛讨论,最后达成了如下的新一代人工智能创新发展2018北京共识。与会专家认为:

深度学习在过去几年一直是人工智能领域最热门的话题。事实上,正是它激发科学家、政府、大公司以及其他所有人对人工智能的极大新兴趣!这是一门很酷的科学,具有潜在的巨大的实用性和积极的应用。它正被用于金融、工程、娱乐、消费产品和服务等领域。

2016年随着AlphaGo战胜全人类棋手,使世界为之震惊,历史上从来没有过,对于一个技术投入了世界上如此巨大的资源。国际大的IT公司利用这个契机,为了谋取暴力,取得世界人工智能的发展主导权,极力宣传“深度学习模型”,把“深度学习模型”神化,同时又抛出了各种类型的“深度学习模型”的开源程序,以及大型GPU服务器。

但是,所有应用都需要使用到深度学习吗?当我们开展一个新的项目时,我们需要不自觉地一开始就使用深度学习吗?在有些情况下,使用深度学习是不合适的,我们需要选择一些别的方案。让我们来探讨一下这些情况吧。

在这种势力的推动下,我国的年轻的人工智能研究者只能在开源程序下研究,不了解“深度学习模型”的所以然,因此,研究的深入与前瞻性被束缚

一、深度学习不适用于小数据集

从另一角度,其实“深度学习模型”,存在着训练不可能得到最佳解,作为补救措施的SGD也只能得到局部最佳解,因此“深度学习模型”不可避免的存在黑箱问题,既然有黑箱问题就不可以在工业控制等大多数场合的普及,再加上深度学习属于大模型解决小任务,投入产出不对称等等原因,况且已经被发明者英国的Hinton教授宣告“深度学习模型”的终结。

为了获得高性能,深度网络需要非常大的数据集。标注的数据越多,模型的性能就越好。获得标注良好的数据既昂贵又耗时。雇佣人工手动收集图片并标记它们根本没有效率可言。在深度学习时代,数据无疑是最有价值的资源。

为了获得人工智能发展的主动权,摆脱国际大公司的束缚,拨乱反正,一定要推动新一代人工智能的时代展开,我们共同认识到:

最新的研究表明,实现高性能的网络通常需要经过数十万甚至数百万样本的训练。对于许多应用来说,这样大的数据集并不容易获得,并且获取成本高且耗时。对于较小的数据集,传统的ML算法(如回归、随机森林和支持向量机)通常优于深度网络。

1.新一代人工智能的技术境界是以具有自组织能力的概率模型为主导的机器学习;

图片 33

2.是可以超越公式化算法的模型,是不需要传统神经网络那样只能通过穷举法才可获得最佳训练解的新型网络;

二、深度学习运用于实践是困难且昂贵的

3.是具有强对抗能力的机器学习模型;

深度学习仍然是一项非常尖端的技术。您可以像许多人一样获得快速简便的解决方案,特别是使用广泛使用的API,例如Clarifai和Google的AutoML。但如果你想做一些定制化的事情,这样的一些服务是不够的。除非你愿意把钱花在研究上,否则你就会局限于做一些和其他人稍微相似的事情。这也是很昂贵,不仅是因为需要获取数据和计算能力所需的资源,还因为需要雇佣研究人员。深度学习研究现在非常热门,所以这三项费用都非常昂贵。当你做一些定制化的事情时,你会花费大量的时间去尝试和打破常规。

4.是可以处理欧几里的空间中的概率空间的数据;

三、深层网络不易解释

5.具有可以统一欧几里德空间与概率空间尺度关系的分类能力;

深层网络就像是一个“黑盒子”,即使到现在,研究人员也不能完全理解深层网络的“内部”。深层网络具有很高的预测能力,但可解释性较低。由于缺乏理论基础,超参数和网络设计也是一个很大的挑战。

6.是具有小数据或无数据训练,可降低导入成本的特点;

虽然最近有许多工具,如显著性映射(saliencymaps)和激活差异(activation differences),它们在某些领域非常有效,但它们并不能完全适用于所有应用程序。这些工具的设计主要用于确保您的网络不会过度拟合数据,或者将重点放在虚假的特定特性上。仍然很难将每个特征的重要性解释为深层网络的整体决策。

7.具有可以模拟人眼生物神经网络的能力;

图片 34

8.具有可以根据应用的要求,用众多的机器学习构建成一个完整的分散处理的人工智能大系统能力;

另一方面,经典的ML算法,如回归或随机森林,由于涉及到直接的特征工程,就很容易解释和理解。此外,调优超参数和修改模型设计的过程也更加简单,因为我们对数据和底层算法有了更深入的了解。当必须将网络的结果翻译并交付给公众或非技术受众时,这些内容尤其重要。我们不能仅仅说“我们卖了那只股票”或“我们在那个病人身上用了这药”是因为我们的深层网络是这么说的,我们需要知道为什么。不幸的是,到目前为止,我们所掌握的关于深度学习的所有证据或者解释都是经验主义的。(来源;人工智能学家)

9.具有自主决策和自主Agent能力的;

C2018年全球AI突破性技术TOP10 (5240字)

10.具有可以无穷的深入处理的能力而计算复杂度不变的特性;

2018年全球AI突破性技术TOP10

总之,新一代人工智能具有强大性,实用性,透明性,可分析性,以及概念性强等的特点,适于广泛的实际应用推广。

文|高德纳,汇编:数据简化社区秦陇纪,2018-08-28Tue

与会专家一致认为,要深入贯彻国务院有关“发展新一代人工智能的规划”精神,充分利用社会资源与政府资源,将以自组织机器学习为核心的人工智能模型进行普遍宣传扩大认知度,尽快深入行业,按行业开发出样板工程,以点带面,尽快提供开源程序以利普及。

人工智能是个高科技、宽领域、多维度、跨学科的集大成者,从立足大数据、围绕互联网的纯计算机应用,逐步衍生到人们日常生产生活的方方面面,在细微之处改善和改变着我们。目前,不少新技术、新模式已经逐步投入到现实运用,但是多数领域仍然处在推广、试验、研究阶段,如何把握推广人工智能技术的重大机遇,让更广大的老百姓像普及手机一样,用上人工智能,这是我们这一代人必须面对的时代发展“必答题”。

与会专家提议,新一代人工智能的应用不仅要在图像识别,声音识别上推广应用,更重要的是应该在产业界进行重点推广,突破人工智能不能用于产业界的禁令,为新一次工业革命的到来提供技术支持。

2018年人工智能技术已在多方面实现突破进展,国内外的科技公司都在不断尝试将人工智能应用于更多领域,不论科技巨头还是初创企业,都在致力于不断创新,推动技术进步,接下来我们就来看看十项中外人工智能领域富有突破性的技术。

为了在人工智能领域中拨乱反正,把人工智能的研究人员从追求抽象的概念,过于务虚的现状扭转过来,必须针对如何在本次人工智能的高潮中,利用社会给予的巨大资源,为社会贡献,因此必须旗帜鲜明的指出:本次人工智能的特点就是“机器学习解决随机问题,绕开NP问题”,理解了这个结论才可以在本次人工智能的高潮中建功立业发挥作用,不辜负社会的期望。

1 基于神经网络的机器翻译

本文由威尼斯在线平台发布于威尼斯在线平台,转载请注明出处:赞赏支持科普,欢迎转发

关键词:

都藏着地球母亲的排泄物,美国绘制一张全球空

原标题:眼见为实!你吸入的每一口空气中,都藏着地球母亲的排泄物   美国是世界超级大国,拥有着数量惊人...

详细>>

羊城盛事,全自体肋软骨移植新技术

论坛现场可谓医美版的“不肯去观音院论剑”,高手过招,必然要挖出“真技巧”。33院司长均是老牌子国内外“教科...

详细>>

阿诺医药与中国医学中国科学技术大学学药物切

伪造到CRO更合乎完成研究开发中规范流程的片段,但研究开发进程充满种种不可预感性,相当多环节须求回看、重新...

详细>>

威尼斯在线平台洛雪生物牙泰口腔抑菌喷剂独家

原标题:洛雪生物于二零一八年五月30日进行牙泰项目新晋特约代理商授牌庆典 威尼斯在线平台 ,二零一八年一月...

详细>>