AlexNet

✍ dations ◷ 2024-12-22 10:33:19 #AlexNet

AlexNet是一个卷积神经网络,由亚历克斯·克里泽夫斯基设计,与伊尔亚·苏茨克维和克里泽夫斯基的博士导师杰弗里·辛顿共同发表,而辛顿最初抵制他的学生的想法。

AlexNet参加了2012年9月30日举行的ImageNet大规模视觉识别挑战赛,达到最低的15.3%的Top-5错误率,比第二名低10.8个百分点。原论文的主要结论是,模型的深度对于提高性能至关重要,AlexNet的计算成本很高,但因在训练过程中使用了图形处理器(GPU)而使得计算具有可行性 。

AlexNet并不是卷积神经网络(CNN)第一次利用快速GPU实现而赢得图像识别竞赛。K. Chellapilla等人(2006)在GPU上的CNN比同等的CPU实现速度快4倍。Dan Ciresan等人(2011)的深层CNN在IDSIA上已经快了60倍,并在2011年8月获取了超过人类的表现。从2011年5月15日到2012年9月10日,他们的CNN赢得了不少于四场图像竞赛。他们还极大提高了文献中多个图像数据库的最佳性能。

根据AlexNet的论文,其与Ciresan的早期网络“有些相似”。两者最初都用CUDA编写,可在GPU支持下运行。实际上,两者都是杨立昆等人(1989)介绍的CNN设计的变体,他将反向传播算法应用于福岛邦彦(福島 邦彦)最初提出的CNN架构“neocognitron”的一个变种。后来J. Weng提出的最大池化方法修改了该架构。

AlexNet包含八层。前五层是卷积层,之后一些层是最大池化层,最后三层是全连接层。它使用了非饱和的ReLU激活函数,显示出比tanh和sigmoid更好的训练性能。

AlexNet被认为是计算机视觉领域最有影响力的论文之一,它刺激了更多使用卷积神经网络和GPU来加速深度学习的论文的出现。截至2020年,AlexNet论文已被引用超过54,000次。

亚历克斯·克里泽夫斯基(出生于乌克兰,在加拿大长大)是一名计算机科学家,以在人工神经网络和深度学习方面的工作而著称。在通过AlexNet赢得ImageNet 2012挑战赛后不久,他和同事将他们的创业公司DNN研究公司(DNN Research Inc.)卖给了Google。克里泽夫斯基对这项工作失去兴趣后,于2017年9月离开了Google。在Dessa公司,克里泽夫斯基将为新的深度学习技术提供建议和帮助。研究人员经常引用他的许多有关机器学习和计算机视觉的论文。

相关

  • 道奇县道奇縣(Dodge County, Georgia)是美国乔治亚州中南部的一个县。面积1,303平方公里。根据美国2000年人口普查,共有人口19,171人。县治伊士曼 (Eastman)。成立于1870年10月26日,以
  • 马萨诸塞州行政区划美国马萨诸塞州一共有14个县,其中的8个县没有自己的政府,只有5个县拥有自己的独立政府,分别是巴恩斯特布尔县、布里斯托尔县、杜克斯县、诺福克县和普利茅斯县。而楠塔基特县则
  • 单胺单胺神经递质(英语:monoamine neurotransmitter)是含有芳乙胺结构的神经递质和神经调质,所有单胺类都是从芳香族氨基酸(苯丙氨酸、酪氨酸、色氨酸)和甲状腺激素衍生而来,经芳香族L-
  • 现代主义文学现代主义文学,又称现代派文学或现代文学,是1890年-1950年间流行于欧美各国的一个国际文学思潮。在纵向上,前承古典主义文学、浪漫主义文学和现实主义文学,后接后现代主义文学。在
  • 恩里克·博拉尼奥斯恩里克·尼古拉斯·博拉尼奥斯·赫耶尔(西班牙语:Enrique Nicolas Bolaños Geyer,1928年5月13日生于尼加拉瓜马萨亚 - ),尼加拉瓜政治家,2001年11月当选尼加拉瓜总统,2007年1月卸
  • 胖大海胖大海(学名:、英语:Malva nut tree),又称作澎大海、膨大海、蓬大海、莫大海、胡大海、通大海、大海子、胡大发、莫大、大洞果、安南子、大海榄等,是一种知名的药用植物,在中药上,其
  • 1992年欧洲足球锦标赛1992年欧洲足球锦标赛(Euro 92),是每四年一度由欧洲足协支持的第九届欧洲足球锦标赛,决赛周于1992年6月10日至26日在瑞典举行。本届共有8支队伍参赛,8 队先分成两组进行第一阶段
  • 浑释之浑释之(?-764年),皋兰州(今宁夏青铜峡南)人,铁勒族浑部。唐朝将领。朔方军军官。浑释之出身朔方军军官,与仆固怀恩、陈回光等同为郭子仪、李光弼部将,唐玄宗天宝十四年,安史之乱起,唐室
  • 贡女贡女,是进献给君主作为贡品的女子。可以是本国臣民进献女子,也可以是朝贡体系中由藩属进献给宗主国的女子。贡女在中国有史以来就频频出现在中国史书中。据《史记》记载,齐国向
  • 阿尔蒂 (漫画)漫画第1册封面《阿尔蒂》(日语:アルテ,意大利语:Arte)是日本漫画家大久保圭创作的日本漫画作品。故事设定在16世纪意大利的文艺复兴时期。2013年开始在North Stars Pictures(日语:コアミックス)《月刊COMIC ZENON(日语:月刊コミックゼノン)》12月号(2013年10月25日发行)连载中。单行本已发行13册。2014年于“NEXT BREAK 漫画RANKING”中获得第15名。在16世纪的意大利佛罗伦斯,阿尔蒂是没落贵族司帕勒提家庭的继承人。从童年时代起,阿尔蒂就展现非凡