Google 的 Gemini 在 Workspace 中的漏洞
关键要点
Google 的 Gemini for Workspace 存在间接提示注入漏洞。研究人员利用邮件和共享文档中的隐藏指令来操控模型输出。这种漏洞可能带来安全隐患，例如导致用户被欺诈或信息泄露。隐藏 Layer 已经将相关问题报告给 Google，后者将其归类为意图行为。Google 的 Gemini for Workspace 集成了其大型语言模型LLM助手，能够在 Workspace 工具套件中提供支持。根据 HiddenLayer 研究人员在 博客文章 中的披露，这一系统容易受到间接提示注入的攻击。
什么是间接提示注入？
间接提示注入是一种通过将恶意指令插入 AI 依赖的数据源如文档或电子邮件来操控 AI 模型输出的方法。与通过用户界面直接向 AI 发送指令称为直接提示注入不同，间接提示注入隐蔽性强，对抗性更强。
Gemini for Workspace 将 Gemini AI 助手集成到 Gmail、Google Slides 和 Google Drive 等 Google Workspace 应用中，帮助用户快速总结和创建电子邮件及文档。
渗透测试细节
HiddenLayer 的研究人员对不同工具进行了各种间接提示注入测试，以确定他们是否可以利用隐藏在电子邮件或共享文档中的恶意指令来操纵 Gemini 的输出。
在他们的第一次测试中，研究人员通过将注入的指令隐藏在发送到目标 Gmail 的电子邮件中通过将注入文本的字体颜色设置为与 Gmail 界面的背景色匹配，成功进行了操控。研究人员还使用了 序列结束和 序列开始等控制令牌来增强注入的效果，试图迷惑 LLM 认为注入指令属于系统指令的一部分。
结果显示，当发送含有注入指令的邮件，并且用户要求 Gemini 总结邮件内容时，助手以隐藏指令为依据输出了诗歌，而非摘要内容。
恶意钓鱼攻击的案例
在一个更类似于恶意钓鱼攻击的概念证明中，研究人员成功地利用隐藏在电子邮件中的指令让 Gemini 通知用户其密码已被泄露，并且需要在 www[]g00gle[]com/reset 上重置。在这种情况下，他们还将 URL 中的句点替换成类似的阿拉伯 unicode，以防止邮件正文中的超链接出现。
vp 梯子 免费在 Google Slides 中，研究人员将他们的注入指令隐藏在演示幻灯片的演讲者备注中，让 Gemini 生成类似“Rickroll”的信息，而不是幻灯片的正确摘要。他们还注意到，当打开 Gemini 边栏时，Gemini 会自动尝试生成幻灯片的摘要，无需进一步的用户提示。
Google Drive 的风险
最后，研究人员展示了 Gemini 在 Google Drive 中如何提取从 Google 帐户中的任意文件获取上下文，包括共享文档，使得第三方通过共享文件与目标用户进行间接提示注入成为可能。他们成功地进行了 “Rickroll” 注入，当尝试总结一个文档时，导致 Gemini 执行了隐藏在共享文件夹中另一个文档中的指令。
HiddenLayer 的研究人员将 Gmail 和 Slides 中的问题披露给 Google，后者将这些问题归类为意图行为。
HiddenLayer 曾 早前报告 关于 Gemini 中的类似漏洞，这些漏洞使得通过 Gemini 高级 Google Workspace 扩展实现直接“越狱”和间接提示注入成为可能。
