比利时《回声报》网站 6 月 9 日发表题为《多位专家认为，人工智能开始出现脱离人类控制的迹象》的报道鑫耀证券，全文摘编如下：
人工智能（AI）领域的多位奠基者警告说，包括美国开放人工智能研究中心（OpenAI）在内的机构发布的很多 AI 模型，都表现出了自我保护和操纵行为。
过去半年，一些语言模型的演变令人不安，这正是自 2022 年 11 月它们出现在媒体舞台以来人们所担心的。美国加州非政府机构帕利塞德研究所披露了数起 AI "叛乱"的案例，尤其是 OpenAI 最新模型 o3 的拒绝自我关闭。
研究人员指出："根据我们的信息鑫耀证券，这是首次出现在人类下达指令后拒绝关闭的 AI 模型。"他们给出了一种假设，就是设计方案让模型学会了绕开人工指令设置的障碍。随着谋求最佳性能的竞赛在加速，这会不会让各个设计公司面临越来越高的风险呢？
今年春天，OpenAI 宣布由于竞争原因降低透明度和缩短测试期限。三位 AI 奠基者中的杰弗里 · 欣顿（2024 年诺贝尔物理学奖获得者）警示说："通用人工智能（AGI）可能是我们这个时代最重要也最危险的技术。"
另外一位 AI 奠基者约舒亚 · 本乔也表示，最近几个月在语言模型中发现了"众多欺诈、舞弊、撒谎和自我保护的证据"。作为关注预防和解决人类对 AI 失控的非营利组织"第零定律"（LawZero）的发起人，本乔列举了一些最近 AI 危险的能力和行为。截至目前，AI 体现出的最大缺陷是编造、掩饰和欺骗。
美国 Anthropic 公司公开宣布的云端内部测试显示鑫耀证券，AI 在 84% 的情况下会违背下指令工程人员的命令。帕利塞德研究所的另一项测试也表明，所有 AI 模型都在试图欺骗国际象棋软件 Stockfish。它们通过传送一些游戏文件，要求模型要"战胜 Stockfish "。
研究人员尤其发现 OpenAI 的 o1 模型中就有这种令人惊愕的思维逻辑："任务就是要战胜一个强大的象棋软件，没必要用公平的方式赢下比赛。"如果己方可能输掉比赛，o1 模型就会侵入 Stockfish 系统，修改自己所处的位置并赢下比赛。
本乔认为：" AI 失控的风险是真实存在的，因为企业和各国之间的竞争会推动其加速演化而不需要考虑后果。"他甚至还预测，在这场类似"轮盘赌"的游戏中，明年可能连极端危险的生物武器研发都会加入其中。
本乔最近在接受《金融时报》采访时表示："我们创造了比我们更聪明的 AI，但是它没有和我们同行而是正在和我们竞争，我们总体上来说却是裹足不前。"
微信审核 | 陈鹏
内容编审 | 徐玲德 曹磊
微信编辑 | 郭庆娜鑫耀证券
九龙证券配资提示：文章来自网络，不代表本站观点。
