神经网络之父人工智能教父是谁(从弃儿到)
神经网络之父人工智能教父是谁(从弃儿到)Hinton于1947年出生在英国温布尔顿,他的父亲Howard Hinton是一名昆虫学家,母亲Margaret Clark是一名教师。Hinton所描述的自己的童年时期,就好像拿着显微镜的丹尼尔·韩德勒(Lemony Snicket,美国作家及编剧)、哈克贝利·费恩和美国喜剧电影《天才一族》(The Royal Tenenbaums)的综合体。在Hinton成长的过程中,他的母亲给了他两种选择:“要么成为一名学者,要么就做个失败者。”Hinton家族的家谱上,科学家占了很大的比例。他的高祖父是布尔逻辑创始人乔治·布尔(George Boole),任何用过“布尔检索”的人都很熟悉他。乔治布尔的女婿之一Charles Howard Hinton是Hinton的曾祖父,是一位数学家和科幻作家,他创造了“超立方体(tesseract)”的概念(一个可以在三维世界中看到的四维物体——所有熟知著名
深度学习的开山鼻祖Geoffrey Hinton。
Geoffrey Hinton:“我非常兴奋,我们发现一种可以使神经网络变得更好的方法,尤其是这种方法能够揭示大脑是如何工作的时候”。
Geoffrey Hinton,被称为“神经网络之父”、“深度学习鼻祖”,他曾获得爱丁堡大学人工智能的博士学位,并且为多伦多大学的特聘教授。
在2012年,Hinton还获得了加拿大基廉奖(Killam Prizes,有“加拿大诺贝尔奖”之称的国家最高科学奖)。2013年,Hinton 加入谷歌并带领一个AI团队,他将神经网络带入到研究与应用的热潮,将“深度学习”从边缘课题变成了谷歌等互联网巨头仰赖的核心技术,并将HintonBack Propagation(反向传播)算法应用到神经网络与深度学习。
从外貌上看,Hinton教授有着所有英国学者的典型特征:一头蓬乱的头发,皱巴巴的衬衫,衬衫前口袋里还插着一排圆珠笔,守着一个巨大且脏乱的白板,白板上写满了各种复杂难解的方程式。他的办公室里根本没有座椅,69岁的Hinton教授喜欢一直站着。
虽然他看起来可能有些古怪,但对他办公室外的那些年轻的人事物而言,Hinton是一种类似于神级的存在:他被人们誉为“人工智能(AI)教父”,而这项已经引发全球性变革的新技术背后,与其聪明才智密不可分。
(1)要么成为一名学者,要么就做个失败者
在Hinton成长的过程中,他的母亲给了他两种选择:“要么成为一名学者,要么就做个失败者。”Hinton家族的家谱上,科学家占了很大的比例。他的高祖父是布尔逻辑创始人乔治·布尔(George Boole),任何用过“布尔检索”的人都很熟悉他。乔治布尔的女婿之一Charles Howard Hinton是Hinton的曾祖父,是一位数学家和科幻作家,他创造了“超立方体(tesseract)”的概念(一个可以在三维世界中看到的四维物体——所有熟知著名儿童小说《时间的皱纹》的人都听过这个概念),Charles生活在维多利亚时代的英国,由于重婚罪而逃到了美国。Charles的儿子,也就是Hinton的祖父,定居在墨西哥,所以Hinton家族在墨西哥也有分支。Geoffrey Hinton的中间名是Everest,这个名字来源于他高祖母的叔叔、地理学家Everest,珠穆朗玛峰就是以他的名字命名的;而寒春(Joan Hinton)是Hinton父亲的表亲,她是一位核物理学家,曾经参与曼哈顿计划,在上个世纪60年代居住在中国。她的父亲发明了儿童攀玩架jungle gym。
Hinton于1947年出生在英国温布尔顿,他的父亲Howard Hinton是一名昆虫学家,母亲Margaret Clark是一名教师。Hinton所描述的自己的童年时期,就好像拿着显微镜的丹尼尔·韩德勒(Lemony Snicket,美国作家及编剧)、哈克贝利·费恩和美国喜剧电影《天才一族》(The Royal Tenenbaums)的综合体。
他和他的三个兄弟姐妹在一间住满各种动物的大房子里长大。他家里有一只猫鼬,占了很大的空间,车库的洞坑里还养了毒蛇。小时候的Hinton曾经在坑边挥动手帕吸引那些毒蛇的注意,其中一条蛇差点咬到了他的手,Hinton险些因此丧命。1961年,他的父亲去中国的巡回演讲时带回来了十几只中国海龟,Hinton曾经帮忙照顾它们。虽然当时的中国实际上不对外国游客开放,但当时前加拿大总理皮埃尔·杜鲁多(Pierre Trudeau)也到访中国,当时他和Hinton的父亲住在同一家酒店,共用一个卫生间。根据Hinton家族的传说,当时Hinton的爸爸把这些海龟养在浴缸里,至少有一次打破了特鲁多洗澡的计划。
(2)“AI之路”走的并不平坦,从“弃儿”到“大神“,30年冷板凳,Geoffery Hinton 等人亲手缔造了深度学习的复兴。
二十世纪70年代 人工智能“萧条期”。由于受到数学家詹姆斯·莱特希尔(James Lighthill)对人工智能行业进展做出的批评报告的部分影响,美国和英国政府纷纷撤回了对人工智能研发的资助资金。这是人工智能的第一个主要“寒冬”,而到了二十世纪80年代末,由于个人电脑的繁荣发展势不可挡,第二个AI寒冬到来了。我们可以看到AI这个词从文献研究中消失了数年,取而代之的是“机器学习”和“信息学”。
早在1960年代,Hinton的高中时期,就有一个朋友告诉他,人脑的工作原理就像全息图一样。创建一个3D全息图,需要大量的记录入射光被物体多次反射的结果,然后将这些信息存储进一个庞大的数据库中。大脑储存信息的方式居然与全息图如此类似,大脑并非将记忆储存在一个特定的地方,而是在整个神经网络里传播。Hinton为此深深的着迷。对Hinton来说,这是他人生的关键,也是他成功的起点。
在之后的二十几年,虽然还是有一些研究人员坚持人工神经网络的研究,但整个学术界关于人工神经网络的研究基本都陷入了停滞,研究人员拿到不到相关的科研基金,与人工神经网络有关的优质论文发表量极少。连著名的学术会议NIPS(Advances in Neural Information Processing Systems,神经信息处理系统进展大会)都变成基本与神经网络无关的会议。
Hinton的学术生涯也像人工神经网络一样起起伏伏,所幸的是他一直没有放弃人工神经网络的研究。他们为实现自己的想法,定期聚集在一起召开研讨会,构建了更强大的深度学习算法,操作更大的数据集。
然而学术圈依旧对神经网络的研究不感兴趣,他们的研究也很难申请到科研经费。学术圈的冷落其实不无理由,人工神经网络的很多成果,很难用数学予以解释或者证明,大家只是在不断调整参数,改善算法,以得到更好的结果。
事情的转机出现在2006年左右,Hilton和他的学生发明了用GPU来优化深度神经网络的工程方法,并发表在《Science》和相关期刊上发表了论文,首次提出了“深度信念网络”的概念。他给多层神经网络相关的学习方法赋予了一个新名词–“深度学习”。
随后深度学习的研究大放异彩,广泛应用在了图像处理和语音识别领域。比如Hinton的学生就用深度学习算法赢得2012年的ImageNet。
互联网的巨头开始注意到他们,这个领域才开始火热起来,深度学习领域也涌现出以Hinton、吴恩达等为首的四大深度学(tiao)习(can)天王。
谷歌为了他,花几千万美元专门买了一个公司。2013年,Google收购了多伦多大学的一家初创公司DNNResearch,实际上,这家公司只有三个成员,Geoffrey Hinton和他的两个刚毕业的的学生——Alex Krizhevsky 和 Ilya Sutskever。我们可以理解为,Google为了让Geoffrey Hinton为他们工作,专门收购了这家公司,有人调侃到Google花了几千万美元买了几篇论文。
精彩热文:
她是北大才女,可天妒英才,“卖米”一文看哭了无数人
他哈佛硕士毕业,20年资助2.3万名艾滋遗孤从富变穷
他是卑微的中国文盲,失踪百年全世界寻找他
和所有父母、学生一起成长,点击最上方头像关注“教育行动”图文来自网络,如有侵权,请联系删除。