bg
  • AI前线
  • 2022年9月26日01时

    “抄我的还‘反捅’我一刀”,Gary Marcus发文驳斥图灵奖得主Yann LeCun

    作者 | Gary Marcus
    译者 | 核子可乐
    策划 | 刘燕
    今年 6 月,图灵奖得主、深度学习先驱、Meta 公司首席 AI 科学家 Yann LeCun 发表了一篇长达 62 页的论文,论文阐述了他对过去 5 - 10 年关于 AI 发展大方向的思考,并提出了畅想 AI 未来的新愿景。

    对于这篇论文的观点,著名 AI 学者、Robust.AI 的创始人兼 CEO 、纽约大学的名誉教授 Gary Marcus 并不认同,并专门写了一篇长文驳斥,以下为全文。

    (本文仅代表作者个人立场)

    62 岁的深度学习先驱、纽约大学教授、图灵奖获得者兼 Meta 公司首席 AI 科学家 Yann LeCun,又肩负起自己的一项新使命。他的任务,就是从技术缔造者以及思想者的角度,探索如何超越深度学习。

    经过一番深思熟虑,他把自己的观点透露给了多家外媒,于是,《Yann LeCun 为 AI 未来大胆勾勒出新愿景》(https://www.technologyreview.com/2022/06/24/1054817/yann-lecun-bold-new-vision-future-ai-deep-learning-meta/)的报道迅速亮相。

    今年 6 月初,LeCun 还发布了一份激起热烈讨论的宣言,也对我(Gary Marcus)的差异化研究工作做出回顾,表达了他自己在一系列重要符号处理问题上的立场。

    但是,他所谓的“新”主意到底有多新?

    读了那篇报道,我的第一反应是震惊。LeCun提到的一切我之前几乎都曾说过,而且字句甚至都没多大变化——大部分内容来自我在2018年发表的《深度学习:一种批判性评价》(https://arxiv.org/abs/1801.00631)的论文,LeCun当时可是嘲讽说此文“大多不靠谱”。

    下面我先列出他观点照搬的七个例子,之后再聊聊 LeCun 的观点整体上出了什么问题。

    • LeCun,2022 年:“今天的 AI 方法永远无法实现真正的智能(在标题部分使用,并非直接照搬)”;Marcus,2018 年:“如果我们要实现人工通用智能,必须为深度学习辅以其他技术。”

    • LeCun,2022 年:“[当前的深度学习模型] 可能是未来智能系统中的组成部分,但我认为其中还缺少别的必要部分”;Marcus,2018 年:“尽管我已经罗列出所有问题,但我认为答案并不在于放弃深度学习。相反,我们需要重要为深度学习规定概念:它不是一种通用方法,而是众多工具中的一种。就像在物理世界中,我们不仅需要锤子、扳手、钳子和电动螺丝刀,还需要凿子、钻头、电压表、逻辑探针和示波器。”

    • LeCun,2022 年:“强化学习永远不足以实现智能”;Marcus,2018 年:“深度强化学习的能力其实跟概念感知没什么关系。”

    • LeCun,2022 年:“我们的智能机器甚至连小猫所能理解的常识都把握不了,所以为什么不从这里开始探索呢?”;Marcus,2022 年:“那在深度学习之外,我们还应该寄希望于哪里?……第二个关注重点也许是常识性知识。”

    • LeCun,2022 年:“我认为 AI 系统需要具备推理能力”;Marcus,2018 年:“深度学习的适用范围主要集中在分类方面,对跟常识推理有关的问题则束手无策。据我所知,深度学习几乎解决不了这方面问题。”

    • LeCun,2022 年:“退后一步来看,我们就像是造了一把梯子。但我们的终极目标是登月,这把梯子显然不可能帮我们达成心愿。”Marcus,2012 年《纽约客》:“套用一个古老的寓言,Hinton 通过深度学习造了把好梯子,但再好的梯子也没法让人登上月球。”LeCun 可以算是认认真真复述了一遍我的观点,而且完全没提到言论出处。

    但我不打算指责 LeCun 抄袭,毕竟他可能只是在认识到现有架构的失败之后,很诚实地自己得出了这些结论。我之前的想法,现在终于为他所认清和接受。这对我来说相当于巨大的胜利——毕竟 LeCun 可是非常杰出的研究者,他能认可我的观点非常难得。

    关于“攻击我从没写过 AI 论文”的驳斥:

    但事情到这里还远没有结束。

    首先,LeCun 明显想把自己的观点跟我的想法刻意区分开来。他之前公开批评过我的论文,所以这次发言他全程没提到很多想法我早就说过——这其实不大符合学术礼仪,也让人对这位老教授颇为失望。

    不仅如此,为了保证我的言论得不到广泛支持,他还在采访中对我进行了无端且毫无客观性可言的攻击。他宣称“Gary Marcus 根本不是搞 AI 的,他其实是个心理学家。他从来没为 AI 做出过任何贡献。他在实验心理学方面做得非常好,但从来没写过关于 AI 的同行评议论文”——这种论断完全错误。

    实际上,我在 AI 方面发表过很多文章,有些发表在同行评议的期刊上、有些没有。我最重要的 AI 论文就是关于神经网络实验的,而且在 1998 年就预见到了分布变化与异常值方面的难题——这些难题目前正困扰着 Yoshua Bengio 等研究者。

    过去十年来,我发表了不少经过同行评议的 AI 论文,主题涵盖常识、利用不完整信息进行推理,以及模拟 / 自动推理的局限性等。

    其中很多文章还是跟 LeCun 学术阵营中的同事、纽约大学计算机科学家 Ernest Davis 共同撰写的。而我最具影响力的 AI 成果,其实并不是期刊文章,而是 2001 年出版的《代数思维》(The Algeraic Mind ,由麻省理工出版社送交同行评议)。LeCun 在此次采访中表达的一切,在那本书中几乎都有提及。但讽刺的是,LeCun 却总在暗示自己没读过这本书,这实在太可笑了。

    也许是 LeCun 的说法太过离谱,引得其他人现身帮我辩护。就在我撰写本文的同时,Vmind.AI 公司 CEO Miguel Solano 发表了推文来支持我:

    Miguel Ignacio Solano@miguelisolano

    @GaryMarcus @ZDNET @TiernanRayTech @ylecun 确实如此, @ylecun. @GaryMarcus 的《代数思维》(麻省理工学院出版社,2001 年)得到过 868 次引用,而且他肯定发表过 AI 文献: scholar.google.com/scholar?cites=…- 2022 年 9 月 25 日

    Henning Schwabe 的表达则更加尖锐:

    Henning Schwabe @SchwabeHenning

    @ylecun 的攻击并不公平,就连最支持深度学习的人也要站出来说两句了。@GaryMarcus 是个很好的盟友,大家应该团结起来共同推动技术发展。过度自我永远是理性的敌人。

    Dagmar Monett @dmonett

    我在 @Eric_Sadin 的《世界的芯片殖民化》(2016/2018)中找到了对 LeCun 行为的解释。详见图片和翻译。@ZDNET 的采访也再次证明了这一点,让我们感受到了 LeCun 如何粗暴鲁莽地指摘其他学者的工作。 https://t.co/qy3WrIcJAb https://t.co/KlPXhYjNxM ——2022 年 9 月 25 日

    研究生有时候爱用学分来证明自己。Harold Bloom 还专门写过《焦虑的影响》(The Anxiety of Influence)一书分析这种心态。但直到现在,我才在 LeCun 这个量级的大咖身上看到同样的毛病。

    而且不是一次,是一次又一次。

    LeCun 立场生变:用自己的方式否定自己的过去

    LeCun 最近发表的每篇论文,都是在用自己的方式否定自己的过去。

    其中一篇文章谈到了符号处理这个老大难问题。简单总结一下,LeCun 在很长一段职业生涯中都在抨击符号处理。他的研究合作伙伴 Geoff Hinton 也是一样,二人在 2015 年共同撰写的深度学习评论最后提到,他们“需要新的范式来取代基于规则的符号表达处理。”

    现在,LeCun 又开始支持符号处理了(符号处理的概念不是我发明的,但我 30 年来一直都表示支持),而且表现得好像这是他刚刚发现的新趋势一样。但 LeCun 所说的“每位深度学习从业者都认为,符号处理是创建类人 AI 的必要一环”,其实就是过去几十年来无数研究者的探索方向。所以连一直支持 LeCun 的斯坦福 AI 教授 Christopher Manning 也表达了震惊:

    Christopher Manning @chrmanning

    我感觉 @ylecun 的立场似乎有所变化——可能是受到了 Browning 的影响;新的文章提到,“每位深度学习从业者都认为,符号处理是创建类人 AI 的必要一环。”但十年前可不是这么说的呀,或者现在大家真的都这么认为了?!?— 2022 年 7 月 28 日

    在我一一列举出这些问题时,LeCun 并没有做出正面回应,而是转发了来自合著者 Browning 的一段莫名其妙的反驳:

    Browning.jake00 @Jake_Browning00

    来自 @GaryMarcus 的回复已经看到,但我们不同意他的观点,或者说不同意他所指出的分歧。不过我觉得,解决困难问题时难免会出现种种分歧。

    Noema Magazine @NoemaMag

    长达十年的 AI 辩论终于要解决了吗?@garymarcus 似乎看到了结束的迹象。现在,“我们终下载可以专注于真正的问题:如何让数据驱动的学习与抽象符号表示统一起来。”https://t.co/QtaxfAEWdv —— 2022 年 8 月 14 日

    但对我提出的一条条反驳,他们完全没做出任何具体评论。

    关于大模型的论断的辩论

    LeCun 最近发表的另一篇文章谈到了一个重要问题,即大型语言模型是否真的走上了通往人工通用智能的正确道路,包括人是否真能单靠语言表达就掌握足够的常识。

    LeCun 和合著者 Browning 提出了强有力的论断,认为单凭语言输入(也就是 GPT-3 训练模型之类的成果)还不够。他们专门写了一篇题为《AI 和语言的局限》(https://www.noemamag.com/ai-and-the-limits-of-language/?utm_source=noematwitter&utm_medium=noemasocial)的文章,认为“单靠语言训练的系统既从现在开始一直训练到宇宙热寂,也永远不可能接近人类的智慧。”

    但他们这个观点仍然不是原创。我在 2020 年 2 月《AI 的下一个十年》(https://arxiv.org/abs/2002.06177)一文中也提出过相同的问题:

    等待越来越大的语言训练语料库中自动孕育出认知模型和推理能力,就像是在等待神迹的出现……——这几乎跟 LeCun 和 Browning 的结论完全相同。

    这还没完呢。

    下一个关键问题,就是我们到底该怎么做。我们没法单靠大型语言模型来真正解决 AI 问题,所以我就在 2020 年 1 月提出:

    像 GPT-2 这样的系统无论自身功能表现如何,都不具备任何明确(即无法直接表示、无法简单共享)的常识知识、推理能力和确切认知模型。

    之后是 2020 年 2 月:

    花在改进大规模单词级预测模型上的每一秒钟都是浪费,不如用在开发有望实现推导、更新和推理认知模型的技术上。

    听起来是不是很耳熟?LeCun 在最新采访中宣扬的,也是与认知模型相结合的相同观点。

    而我在 2019 年第一次提出这个观点时,猜猜谁马上跳出来喷我?对,就是 Yann LeCun。

    我当时写道:

    Gary Marcus @GaryMarcus:

    像 GPT-2 这类系统的最大问题并不在于能不能理解数量(@ylecun 的意见恰好相反),而是没能发展出能准确表示事件如何随时间展开的清晰 w 数。这个问题单靠堆数量是解决不了的:

    Yann LeCun @ylecun:

    @StanDehaene @GaryMarcus 实际上,接受过数量处理训练的机器确实学会了处理数量。Gary 总说通过训练来预测缺失单词的机器掌握不了数量的概念,呸!2019 年 10 月 28 日 这其实就是在用另一种表达,强调大型语言模型缺乏认知模型的问题。

    当时,LeCun 还说我的论证在根源上就错了:

    Yann LeCun @ylecun:

    @GaryMarcus 是错的。咱们看看: arxiv.org/abs/1612.03969 其中表二:第 7 行(计数)和第 14 行(时间推理)都获得了 0 错误率(在 bAbl 任务中)。你在抛出论点的时候,最好搞清楚你的论据三年之前就已经站不住脚了。—— 2019 年 10 月 28 日

    现在他的想法变了,于是之前说过的话就如同没说。他也开始强调认知模型的重要意义,又反“捅”我一刀,坚称这是他的独创观点。

    LeCun 的新论文“洗稿”多位前辈学者成果

    所以我当然有理由生气,而且也有其他同行在为我打抱不平。

    深度学习先驱、广泛应用的 LSTM 神经网络创造者 Jürgen Schmidhuber 最近也在推特上提到:

    Jürgen Schmidhuber @SchmidhuberAI

    Lecun (@ylecun) 在 2022 年关于自主机器智能的论文中把老观点复述了一遍,但却丝毫没提到这些内容早在 1990 年到 2015 年的研究中就已经存在了。我们已经发表了他口中的那些“重要原创贡献”,包括:学习子目标、可预测的抽象表示、多个时间尺度等。

    LeCun2022 年发表的新论文其实是对 1990 至 2015 年间原有成果的“洗稿”,例如 1990 年:梯度下降学习子目标;1991 年:多个时间尺度与抽象级别;1997 年:学习可预测抽象表示的世界模型……

    -2022 年 7 月 7 日“复述却不引用”——这可以说是对其他学术研究者最大的冒犯了。

    LeCun 的新宣言总体上还是出于良好的动机,呼吁将“可配置的预测世界模型”纳入深度学习。我也一直强调应该这么做,但最早提出这一理念的是 Schmidhuber。作为 1990 年代的深度学习先驱,他也一直在为此而努力,但 LeCun 对此甚至不愿提一句感谢。

    LeCun 观点引来多位学者批评

    LeCun 的妄言已经在推特上激起波澜。

    德国计算神经科学家与 AI 研究员 Patrick Krauss 也在推文中嘲讽:

    Patrick Krauss @Krauss_PK

    哇哦,AGI 终于实现了! @ylecun 发现了迄今为止深度学习中缺失的环节:常识和世界模型!technologyreview.com/2022/06/24/105…@GaryMarcus @maier_ak

    Yann LeCun 对于 AI 未来的大胆设想,其实是把当初深度学习先驱们的观点汇总了起来。但尝试回答问题的同时,这又生成了很多新的问题。—— 2022 年 6 月 25 日

    今天早上,Lathropa 发布了更加尖锐的批评。大家都知道,我在 2022 年 3 月发表的《深度学习正走进死胡同》(https://nautil.us/deep-learning-is-hitting-a-wall-238440/)一文受到了 LeCun 的猛烈抨击。

    现在几个月过去,他怎么想法又变了呢?

    Lathropa @lathropa :

    @GaryMarcus @MetaAI @ylecun “好吧,我们造了把梯子,但我们想要登月,而靠这把梯子显然登不了月。”LeCun 说他希望重新审视深度学习的基本概念,“似乎是说他的方法走进了某种形似死胡同的空间”……-2022 年 9 月 25 日

    我实在没从 LeCun 的采访中看到什么真正的新东西,所以昨天专门邀请他在推特上做出解释。他暂时还没回复,让我们拭目以待。

    原文链接:

    https://garymarcus.substack.com/p/how-new-are-yann-lecuns-new-ideas

    今日荐文

    点击下方图片即可阅读

    棋手回应用智能肛珠作弊;新东方以“能力不足”为由辞退员工被判赔 41 万;被忽视15年的Python漏洞 |AI一周资讯


    你也「在看」吗?