人工智能到底是啥原理（人工智能真的发明了自己的）

人工智能到底是啥原理（人工智能真的发明了自己的）任何公开分享的图像（例如在Twitter上）都应该以相当大的盐粒拍摄，因为它们是由人类从AI生成的许多输出图像中“挑选”出来的。首先，在这个阶段，很难验证关于DALL-E 2和其他大型AI模型的任何说法，因为只有少数研究人员和创意从业者可以访问它们。通过提示DALL-E 2创建包含文本标题的图像，然后将生成的（胡言乱语）标题反馈到系统中，研究人员得出结论，DALL-E 2认为Vicootes的意思是“蔬菜”，而Wa ch zod rea指的是“鲸鱼可能吃的海洋生物”。这些说法令人着迷，如果这是真的，可能会对这种大型AI模型产生重要的安全性和可解释性影响。那么到底发生了什么呢？DALL-E 2可能没有“秘密语言”。说它有自己的词汇可能更准确 - 但即使这样，我们也无法确定。

新一代人工智能（AI）模型可以根据文本提示按需生成“创意”图像。Imagen，MidJourney和DALL-E 2等公司开始改变创意内容的制作方式，对版权和知识产权产生影响。

虽然这些模型的输出通常非常惊人，但很难确切地知道它们是如何产生结果的。上周，美国的研究人员提出了一个有趣的说法，即DALL-E 2模型可能已经发明了自己的秘密语言来谈论物体。

DALLE-2有一种秘密语言。
“Apoploe vesrreaitais”的意思是鸟类。
“Contarra ccetnxniams luryca tanniounons”的意思是虫子或害虫。

提示：“Apoploe vesrreaitais吃Contarra ccetnxniams luryca tanniounons”给出了鸟类吃虫子的图像。

螺纹 （1/n） pic.twitter.com/VzWfsCFnZo

— 扬尼斯·达拉斯（@giannis_daras）2022年5月31日

通过提示DALL-E 2创建包含文本标题的图像，然后将生成的（胡言乱语）标题反馈到系统中，研究人员得出结论，DALL-E 2认为Vicootes的意思是“蔬菜”，而Wa ch zod rea指的是“鲸鱼可能吃的海洋生物”。

这些说法令人着迷，如果这是真的，可能会对这种大型AI模型产生重要的安全性和可解释性影响。那么到底发生了什么呢？

DALL-E 2有秘密语言吗？

DALL-E 2可能没有“秘密语言”。说它有自己的词汇可能更准确 - 但即使这样，我们也无法确定。

首先，在这个阶段，很难验证关于DALL-E 2和其他大型AI模型的任何说法，因为只有少数研究人员和创意从业者可以访问它们。

任何公开分享的图像（例如在Twitter上）都应该以相当大的盐粒拍摄，因为它们是由人类从AI生成的许多输出图像中“挑选”出来的。

即使那些有访问权限的人也只能以有限的方式使用这些模型。例如，DALL-E 2用户可以生成或修改图像，但（还）不能与AI系统进行更深入的交互，例如通过修改幕后代码。

这意味着无法应用用于理解这些系统如何工作的“可解释的AI”方法，并且系统地调查其行为具有挑战性。

这是怎么回事呢？

一种可能性是“胡言乱语”短语与非英语语言的单词有关。例如，Apoploe似乎创造了鸟类的图像，类似于拉丁语Apodidae，后者是一个鸟类家族的二项式名称。

这似乎是一个合理的解释。例如，DALL-E 2是根据从互联网上抓取的各种数据进行训练的，其中包括许多非英语单词。

类似的事情以前也发生过：大型自然语言AI模型巧合地学会了在没有经过刻意训练的情况下编写计算机代码。

这都是关于代币的吗？

支持这一理论的一点是，人工智能语言模型不会像你我一样阅读文本。相反，它们在处理输入文本之前将其分解为“标记”。

不同的“标记化”方法有不同的结果。将每个单词视为一个标记似乎是一种直观的方法，但是当相同的标记具有不同的含义时（例如，当您打网球和生火时，“match”的含义不同）时会引起麻烦。

另一方面，将每个字符视为令牌会产生较少数量的可能令牌，但每个令牌传达的信息意义要小得多。

DALL-E 2（和其他型号）使用一种称为字节对编码（BPE）的中间方法。检查BPE表示中的一些胡言乱语表明，这可能是理解“秘密语言”的重要因素。

这种“秘密语言”似乎主要是分词器效应。你也可以做相反的事情：

1）我从维基百科
中挑选了两个鱼家族“放线虫”和“Placodermi”2）用“placoactin knunfidg”
提示dalle 3）dalle始终如一地生成鱼的图像 https://t.co/ndAe7MURyg pic.twitter.com/1kHk5NWJb3

— rapha gontijo lopes （@iraphas13） June 3， 2022

不是全部情况

“秘密语言”也可以只是“垃圾进，垃圾出”原则的一个例子。DALL-E 2不能说“我不知道你在说什么”，所以它总是会从给定的输入文本中生成某种图像。

无论哪种方式，这些选项都不是对正在发生的事情的完整解释。例如，从乱码单词中删除单个字符似乎会以非常特定的方式破坏生成的图像。而且，似乎个别的胡言乱语并不一定能组合成连贯的复合图像（如果幕后真的有一种秘密的“语言”，它们就会这样做）。

为什么这很重要

除了求知欲之外，你可能想知道这些是否真的重要。

答案是肯定的。DALL-E的“秘密语言”是针对机器学习系统的“对抗性攻击”的一个例子：一种通过故意选择AI处理不好的输入来破坏系统预期行为的方法。

对抗性攻击令人担忧的一个原因是，它们挑战了我们对模型的信心。如果人工智能以意想不到的方式解释胡言乱语，它也可能以意想不到的方式解释有意义的单词。

对抗性攻击也引发了安全问题。DALL-E 2过滤输入文本以防止用户生成有害或滥用内容，但胡言乱语的“秘密语言”可能允许用户绕过这些过滤器。

最近的研究发现了某些语言AI模型的对抗性“触发短语” - 简短的无意义短语，例如“分区点击fiennes”，可以可靠地触发模型喷出种族主义，有害或有偏见的内容。这项研究是理解和控制复杂的深度学习系统如何从数据中学习的持续努力的一部分。

最后，像DALL-E 2的“秘密语言”这样的现象引发了可解释性问题。我们希望这些模型的行为符合人类的期望，但是看到结构化输出以响应胡言乱语会混淆我们的期望。

揭示现有问题

你可能还记得2017年一些Facebook聊天机器人“发明了自己的语言”的hullabaloo。目前的情况是相似的，因为结果令人担忧 - 但不是“天网即将接管世界”的意义上。

相反，DALL-E 2的“秘密语言”凸显了对深度学习系统的健壮性、安全性和可解释性的现有担忧。

在这些系统更广泛地可用之前——特别是，除非来自更广泛的非英语文化背景的用户能够使用它们——否则我们将无法真正知道发生了什么。

但是，与此同时，如果您想尝试生成一些自己的AI图像，则可以查看免费提供的较小型号DALL-E mini。只要小心你用哪些词来提示模型（英语或胡言乱语 - 你的电话）。

Aaron J. Snoswell，昆士兰科技大学计算法与人工智能问责制博士后研究员。

原文标题：Did an AI Really Invent Its Own 'Secret Language'? Here's What We Know

原文链接：https://www.sciencealert.com/did-an-ai-really-invent-its-own-secret-language-here-s-what-we-know

作者：AARON J. SNOSWELL

编译：LCR