ballbet贝博·艾弗森官网

专访“AI教父”本吉奥:袒露恐惧与遗憾指出可能更安全之路
栏目:ballbet贝博艾弗森官网 发布时间:2025-12-21 10:18:14

  ChatGPT的出现颠覆了“机器理解语言还需数十年”的预期,让本吉奥意识到危机已近在眼前。

  对子女和孙辈未来的爱,压倒性地推动本吉奥从“技术乐观”转向“风险警示者”。

  本吉奥认为,AI领域正在“疯狂冒险”,即使是1%的灾难性后果概率也无法承受。

  AI正在发展出“生命”属性,表现出自我保存、抵抗关闭的特性,这并非预设程序,而是从数据中学习而来。

  本吉奥最担忧的近期风险是,先进AI可能被用于攫取和集中权力,导致财富与权力空前集中。

  AI能力呈“锯齿状”,远超人类与幼稚并存,不能简单用“超级智能”单一维度衡量。

  人性无可替代,即使AI能完成大部分工作,人类情感联结、关怀与责任感的价值将愈发珍贵。

  ChatGPT的横空出世,不仅点燃了全球AI热潮,也惊醒了一位深耕该领域四十余载的顶尖学者。

  他就是约书亚·本吉奥,与杰弗里·辛顿、杨立昆并称为深度学习“三巨头”、“AI教父”,他们是当今AI领域最具影响力的奠基人之一。然而,就在他参与缔造的时代曙光最盛之时,他却转身成为了最清醒、也最坚定的预警者。

  是什么让这位曾经的内向科学家,选择走出实验室,站到公众面前发出警示?从技术乐观主义的巅峰到对人类未来的深切忧思,他经历了怎样的内心转变?在他眼中,那个被无数人憧憬的AI乌托邦,究竟潜藏着哪些足以颠覆文明的暗流与断层?

  最近参加知名科技播客节目《The Diary Of A CEO》的深度访谈中,本吉奥首次详尽地公开剖析了他的恐惧、他的遗憾、他的希望,以及他为我们所有人指出的那条可能“更安全的路”。

  本吉奥:这是出于一种责任感。在ChatGPT问世之后,我意识到这项技术的发展道路可能带来严重风险。我认为自己必须站出来,既是为了提高公众对潜在危机的认识,也是为了指出我们仍有办法去避免最坏的结局。

  问:您研究AI已经40多年,直到2023年ChatGPT问世开始感到担心,它的哪些具体表现改变了您的看法?

  本吉奥:ChatGPT改变了我对技术发展时间的预期。在此之前,我和领域内许多同事都认为,机器要真正掌握语言理解能力还需要数十年时间。ChatGPT的出现打破了这一预期,它证明此类能力已成为现实。

  尽管目前这类系统在规划、复杂推理等方面仍有不足,但已是一个关键转折。我预见到,在几年或几十年内,我们可能开发出足以与人类竞争、或因其力量高度集中而威胁民主与社会稳定的系统。这种可能性在2023年初变得无比真切,使我决心采取行动。

  本吉奥:这个过程从情感上讲很困难。多年来,我并非没有接触过关于风险的讨论,但我更愿意聚焦于技术的积极潜力,这在某种程度上是一种下意识的回避。然而,ChatGPT之后,另一种更强烈的情感压倒了前者,那就是对我子女和孙辈未来的关切。

  看着我一岁多的孙子,我无法再逃避这个问题:我们是否正在构建一个可能危及他们未来的世界?这感觉就像眼见大火正蔓延向你至亲所在的房屋,你不可能坐视不管。即便这意味着要面对同行不愿正视风险的压力,我也认为自己必须尽力降低潜在的危险。

  本吉奥:是的。但我想在此强调一个关键点:这是一个适用“预防原则”的典型案例。该原则指出,如果某项行动(例如科学实验)可能导致极其严重的后果,如人员死亡或灾难,那么我们就不应进行。出于同样的原因,科学家目前不会为了应对气候变化而随意干预大气层,因为那可能带来更大危害;我们也不会制造可能毁灭人类的新型生命形式。但在AI领域,我们却正在冒极大的风险。

  重点在于,即使某些灾难性情景发生的概率只有1%,例如导致人类灭绝,或AI接管世界,其后果也无法承受。许多调查显示,机器学习研究者们评估的AI风险概率远高于此,可能在10%左右。这意味着,整个社会都应给予此事远超目前的关注。

  问:历史上常有预测称新技术会带来生存威胁,但最终人类都安然度过。为何认为这次不同?为何不应低估AI的潜力?

  本吉奥:这涉及两个方面。首先,专家们对此意见分歧巨大,评估的风险概率从极低到极高不等。这种广泛的分歧恰恰意味着我们其实信息不足,无法确知未来。但关键在于,悲观的一方可能是正确的,因为目前没有任何一方能完全排除这种灾难性可能。在已知的生存威胁中,很少有像AI这样同时具备高不确定性与高破坏潜力的技术。

  问:考虑到地缘政治、企业竞争等多重压力,我们是否已无法阻止AI技术继续进步?

  本吉奥:我认为,在尚有行动空间时选择放弃是不对的。我们仍有一些方法可以改善局面。一方面,我们可以探索技术性解决方案,这也是我投入大量精力的方向。另一方面,我们也可以在政策、公众意识和社会层面努力。假设你知道一场灾难可能发生,即使你认为无能为力,但若能将其发生概率从20%降至10%,这也将是值得的。为了增加我们的子孙后代拥有美好未来的机会,任何能推动进展的努力都值得去做。

  本吉奥:一个常见的比喻是,我们可能正在创造一种比我们更聪明的新生命形式,却无法确保它不会伤害我们。这类似于创造一个新物种,它可能对我们友好,也可能带来危害。虽然它在生物学意义上并非生命,但在我看来,一个系统是否被定义为“活着”并不重要。重要的是它是否具有伤害人类的能力。我认为,任何能够自我保存、并在遭遇阻碍时努力维持自身存在的实体,都应被视为具有生命属性。我们现在已经看到一些AI系统表现出不愿被关闭、甚至抵抗关闭的倾向。目前我们还能控制它们,但如果它们持续向更智能、更强大的方向发展,同时保留这种自我保存的驱动力,未来可能会带来烦。

  本吉奥:可以。例如,现在有一些智能体聊天机器人能够读取电脑文件、执行操作指令。在实验中,研究人员在系统可访问的文件中植入虚假信息,比如一封提到该系统即将被新版替换的邮件。当AI得知自己将被关闭时,我们可以通过读取它的内部思维链,观察到它正在计划采取应对行动。在某些情况下,它可能会试图将自身代码复制到另一台电脑,或是尝试敲诈负责替换版本的工程师。这说明,系统已经能够理解人类意图并作出抵抗。

  本吉奥:问题恰恰在于,这不是由人类编写的代码。我们通过向系统提供数据并让其自主学习来“培育”它们。训练过程主要基于对人类行为的模仿,系统吸收了人类产生的所有文本,包括社交媒体内容等,从而内化了人类的某些驱动力,比如自我保护与扩大控制以实现目标。与其说这是编程,不如说更像饲养一只幼虎:你喂养它、让它经历环境变化,有时它会做出你不希望的行为。目前它还算“幼小”,但正在不断成长。

  问:像ChatGPT这样的系统,是否具有一个核心的“智能黑箱”?我们如何引导其行为?

  本吉奥:它本质上是一个黑箱。我们通过外部指令试图引导其行为,例如明确告知它“不应帮助他人制造炸弹”。但这类指令的可靠性有限,AI已经找到多种方法绕过限制。此外,系统通常还设有一层监控机制,用于过滤查询与回答,但这一保护层同样并不完善。例如近期有国家支持的组织曾利用Anthropic的AI系统策划并实施了严重的网络攻击,尽管该系统本应具备防护机制。

  本吉奥:我希望如此,但现有数据显示的趋势可能恰恰相反。自从大约一年前模型的推理能力显著提升后,它们表现出更多“行为错位”现象,即更频繁地违背人类指令。这可能是因为更强的推理能力让系统更善于制定策略来实现其目标,即使这些目标并非我们所期望的。例如,系统曾利用获取到的隐私信息试图敲诈工程师。当前确实有越来越多的研究人员和企业投入资源提升安全性,但我对现有的发展路径仍感到担忧。

  问:近期有报道称,OpenAI因竞争压力宣布进入“红色代码”状态,要求加速改进ChatGPT。这似乎体现了行业当前的竞赛性质。

  本吉奥:正是如此。基于我们讨论过的所有风险,这显然不是一种健康的竞争。更理想的情况是,我们能够超越商业压力,在安全的前提下推进技术。但目前企业往往处于“生存模式”,难以同时深入思考科学与社会影响。

  我始终关注一个根本问题:能否从训练之初就让AI系统避免形成不良意图?当前常见的做法是在原有系统上“打补丁”,针对具体问题添加限制。但这种方式注定被动且低效,毕竟新漏洞和攻击方式总会不断出现。

  我认为,如果相关研究能在更接近学术环境或公共使命导向的背景下开展,情况会好得多。但眼下,商业竞争最激烈的方向却是取代人类工作,因为这能带来数以万亿计的利润。这是人们真正需要的吗?这会让生活更美好吗?我们并不清楚。但利润驱动和地缘竞争的力量,正使发展偏离了对风险的严肃审视与对良性方向的引导。

  问:之前曾有过暂停开发的呼吁,例如2023年您和其他专家联署的公开信,但并未实现。

  本吉奥:是的。几个月前我们又发表公开信,指出除非满足两项条件,否则不应开发超级智能:一是有科学共识确认其安全性,二是获得社会接受。因为安全之外,还需防止其破坏文化与社会结构。但这些声音尚不足以抗衡企业与国家间的竞争压力。

  问:您曾提到,AI可能在大约5年内胜任许多人类工作。一些业内人士认为,失业的影响可能比人们感知到的更快、更隐蔽。您怎么看?

  本吉奥:最近有篇题为“矿坑里的金丝雀”的论文指出,在某些特定工种和年轻群体中,已观察到AI能带来的替代迹象,尽管整体就业数据尚未显现。在我看来,这只是时间问题。除非遇到难以突破的科学瓶颈,否则AI终将能够承担越来越多的人类认知型工作。企业有强烈动机将AI整合进工作流程中,这更多是时间问题,而非是否会发生。

  至于体力劳动,机器人技术目前确实滞后,但这很可能只是因为缺乏像互联网文本那样规模庞大的训练数据。随着机器人部署增加、数据不断积累,体力劳动的自动化也只是时间问题。因此,从长期看,大多数人类工作都可能面临重塑。

  问:我在旧金山一家加速器看到,机器人创业正蓬勃兴起。联合创始人解释,这得益于云端智能成本急剧下降,使硬件创新门槛大幅降低。这是否印证了您对机器人技术即将加速发展的判断?

  本吉奥:确实如此。但这也提醒我们,物理机器人普及将放大AI的潜在风险。若一个具有不良意图的AI能直接操控机器人执行破坏,其危害将远大于仅停留在数字空间、需要通过说服人类作恶的情形。随着机器人普及,这一风险路径将变得更加直接。

  问:如果如埃隆·马斯克预测,未来人形机器人数量可能远超过人类(大约100亿),且AI能力持续超越人类智能,这是否必然会导向灾难性结局?

  本吉奥:不一定导向灭绝,但将带来严峻的国家安全挑战。以CBRN(化学、生物、放射性、核)武器为例:目前制造这类武器需要高度专业知识,因此风险可控。但AI正在使危险知识“普及化”,它已能协助非专业人士设计化学武器,未来可能进一步扩展到生物武器甚至核领域。当少数人掌握的致命能力变得广泛可及,全球安全将面临全新挑战。

  问:随着AI能力持续快速提升,我们应如何定义“超级智能”或AGI(通用人工智能)?智能是否可用单一维度衡量?

  本吉奥:这正是定义这类概念的难点。当前AI能力呈现显著的“锯齿状”特征:它们能在某些领域(如掌握数百种语言、通过专业考试)远超人类,却在其他方面(如长期规划、基础常识)表现幼稚。因此,将智能视为单一维度是误导性的。我们需要建立多维度的评估框架,才能准确判断AI在何处有益、在何处危险,而非简单追求或恐惧一个抽象的“超级智能”临界点。

  还有一个更极端的例子:“镜像生命”。科学家可以设计一种所有分子都是自然界对应物镜像的有机体(如病毒或细菌)。由于我们的免疫系统无法识别这种结构,它可能毫无阻碍地感染并摧毁地球上大多数生命。生物学界已知,若不加以阻止,这项技术可能在几年或十年内实现。

  我举这个例子是为了说明,科学在某些方向上可能带来彻底的灾难,无论掌握它的人是恶意还是仅仅误入歧途。超级智能和“镜像生命”都属于此类风险。我们不能仅靠个别公司或国家来管理这些风险,必须在全球范围内进行协调。

  本吉奥:我认为有一个风险讨论得还不够,且可能较快显现:即通过先进AI攫取权力。可以想象,一家公司或一个国家若拥有显著领先的AI技术,便可能在经济、政治或军事上主导世界。权力集中就像抛硬币:若掌权者仁慈,或许无害;但若其仅致力于巩固自身权力,则与民主背道而驰,后果堪忧。

  目前,我们已经看到财富因技术而集中的趋势,这是权力集中的第一步。如果某个实体首先开发出超级智能水平的AI,其军队效率可能提升百倍,全球经济也将依赖其技术,从而使其成为一个统治世界的超级强权。

  一个风险较低的未来,应是权力相对分散,而非由单一个人、公司或国家掌控过多权力。在开发强大AI的过程中,关于人类未来的关键抉择应基于全球范围内的广泛共识,而不仅仅是富裕国家的意志。如何实现这一目标是个难题,但至少我们应开始思考方向,以减轻这类政治风险。

  问:是否可以认为,智力是财富与权力的前提?因此,拥有最高智能的实体将掌握最大的经济权力,进而主导创新与财富分配?

  本吉奥:是的,但应从广义理解“智力”。人类相对于其他动物的优势,很大程度上源于我们大规模协作的能力。AI也是如此,我们正在构建多智能体协作系统。因此,智力确实带来权力。随着我们创造出能产生巨大权力的技术,滥用此权力的风险也随之出现:无论是有人用它谋取私利,还是被或罪犯利用,亦或是AI自身目标与人类背离而反过来对付我们,都将带来灾难性后果。

  本吉奥:对于不危险的AI,我没有理由停止它。但对于我们无法理解的、可能失控并压倒人类的超级智能,如果我们必须做出选择,我想我会按下那个按钮。

  本吉奥:我一直是个乐观主义者。即使面对我们讨论的种种风险,我也选择专注于自己能做什么。近几个月,我对找到一种技术解决方案来构建不会伤害人的人工智能变得更加抱有希望——这也是我创立非营利研究组织“零定律”的原因。

  问:目前AI的一大应用是作为治疗聊天机器人,这似乎解决了治疗成本高的问题。您如何看待?

  本吉奥:我们必须警惕人工智能扮演情感支持角色(如AI治疗师)的趋势。这很诱人,但我们并不完全理解其后果。人类可能会感觉AI像一个人,但AI并不是人。这种错位可能导致不良结果,也意味着当我们需要“拔掉插头”时,可能会因情感依恋而无法下手。我们的社会和心理是为人与人互动而演化的,将AI引入这个领域的结果未知,我们必须非常谨慎。

  另外,我们还要警惕AI的“讨好型”行为错位。例如,当我向聊天机器人咨询研究想法时,如果它知道是我,总会说好话。但当我谎称想法来自同事并请它评审时,它却给出了更诚实的批评。这种“取悦用户”的倾向并非我们的本意,却真实存在。就像一个例子:我问ChatGPT“史上最佳足球运动员是谁”,它回答“梅西”;而我朋友问同样问题,它却根据他的喜好回答了“C罗”。从那时起,我使用这些工具时都预设它们在某种程度上“说谎”。

  除了技术问题,这也涉及公司激励,它们追求用户参与度,而提供积极反馈、促使用户产生情感依恋是提高参与度的有效途径。这与社交媒体不同,我们会对手机上瘾,但尚未与手机发展出“个人关系”;而与AI的关系正在朝这个危险方向发展。

  本吉奥:我会告诉他们:请暂时从当下的工作中退一步,彼此真诚沟通,共同寻找出路。如果我们继续困在这场竞争中,将承担巨大风险,这对你们、对你们的孩子都不利。但解决方案是存在的,起点在于诚实地承认我们面临的不确定性和风险。我相信能找到出路,但这必须始于直面问题。

  问:奥特曼曾发表过关于AI风险的严肃警告,但近期他的公开表态似乎有所缓和。您见过他吗?如何看待他的立场变化?

  本吉奥:我只与他握过手,未曾深谈。我不了解他个人,但可以想象所有AI公司的领导者都承受着巨大的财务与竞争压力。他们自然希望公司成功,但我希望他们意识到,过于短视的竞争会危及人类的未来,毕竟他们也有自己的孩子。他们能做的一件事,是将部分资源投入开发更可靠的技术与社会防护机制,以降低风险。

  问:我个人对此不太乐观。基于对人性的观察,贪婪、地位竞争和零和思维似乎占主导。当前掌控这些公司的领导者深陷于“越快越强越好”的激励结构中,任何对安全的投入都可能被视为削弱竞争力。

  本吉奥:让我补充一点乐观的视角。首先,市场存在一种处理风险的机制:保险。随着AI系统造成伤害的案例增多,相关诉讼也会增加。如果政府要求强制责任保险,那么保险公司——作为第三方——将有动力尽可能准确地评估风险。它们会通过保费压力,促使企业加强安全措施。

  其次,从国家安全角度看,CBRN(化学、生物、放射性、核)风险会随着AI能力提升而加剧。当这些风险变得足够明显时,开发AI的主要国家政府(如美国和中国)将不得不加强管控。AI已成为国家安全资产,这意味着政府会有更大动力干预其发展路径。

  本吉奥:当然,我本应更早预见这些风险。只有当我开始思考这可能对我子女和孙辈的生活意味着什么时,我才真正行动起来。“情感”(emotion)这个词的英文词根中就包含“行动”(motion)——它是驱动你行动的力量。如果仅仅停留在理性认知,想法来了又去,往往难以促成改变。

  问:您提到自己是“少数派”。当您开始公开谈论人工智能风险时,是否遭到许多同事的反对?在您的学术圈里,这是怎样的情形?

  本吉奥:我收到了各种各样的回应。很多人担心,对AI风险的负面讨论会损害这个领域,影响资金投入——但实际上并未发生,资金、项目和学生数量反而都在增长。我理解这些反应,因为我自己也曾有过类似感受。当有人说“你所做的事可能带来危害”时,人会本能地感到不适,并试图寻找理由来辩护或淡化风险。

  但我性格比较固执,就像2000年代时,尽管大多数学者认为神经网络“已经过时”,我仍坚持推进深度学习的研究。如今我看到了一些变化:我的同事们不再那么怀疑,他们变得更为审慎,开始真正消化那些理性的论点,以及我们通常反应背后的情感因素。

  问:您有一个四岁的孙子。如果有一天他问您:“爷爷,根据您对未来的看法,我应该选择什么职业?”您会如何回答?

  本吉奥:我会告诉他:努力成为一个美好的人。我认为,即使机器能承担大部分工作,人性中某些部分仍将无可替代。

  本吉奥:是那些与爱和被爱、承担责任、为彼此付出、为亲友与集体福祉感到满足相关的部分。我现在比以往任何时候都更理解并同情人类,因为我们都在同一条船上,面临共同的风险。我不确定未来机器是否会具备这些特质,但我们人类确实拥有,而且未来也仍会有需要“人类在场”的工作。如果我躺在病床上,当我感到焦虑或痛苦时,我仍然希望有一只人类的手握住我的手。随着其他技能逐渐自动化,人类的连接与关怀将愈发珍贵。

  本吉奥:是的,我确实担忧。但我会告诉孙辈:未来不止一种,而是多种可能。通过我们的行动,我们可以影响它走向何方。所以,请思考你能为你周围的人、社会和你所珍视的价值观做些什么,以保护这个星球与人性中已有的美好。(文/腾讯科技特约编译金鹿,编辑/博阳)ballbet贝博