从支持的大型语言模型 (LLM) 中永久删除敏感数据聊天机器人，例如 ChatGPT北卡罗来纳大学研究的科学家发现，验证数据是否确实已被删除是极其困难的。
令人担忧的是，GPT-J（研究人员在本研究中使用的训练模型）比 GPT-3.5（为 ChatGPT 免费版本提供支持的法学硕士）之类的模型要小得多。 从理论上讲，这意味着从聊天机器人的语言模型中永久删除敏感数据比使用 GPT-J 更加棘手。
大型语言模型：难以清理
Vaidehi Patil、Peter Hase 和 Mohit Bansal 撰写最近的一项研究由北卡罗来纳大学教堂山分校出版，重点关注大型语言模型（例如 ChatGPT 和 Bard）是否真的可以删除敏感信息。
他们认为，从法学硕士中删除敏感信息同时保留模型信息性的主要方法——人类反馈强化学习（RLHF）——存在许多问题。 研究人员表示，大多数法学硕士仍然容易受到“对抗性”的影响提示” 即使在 RLHF 之后。
🔎 想要私密地浏览网页吗？ 🌎 或者看起来好像您在另一个国家？
获得 Surfshark 86% 的巨额折扣tech.co 的特别优惠。
即使在 RLHF 之后，模型“可能仍然知道…敏感信息。 虽然关于模型真正“知道”什么存在很多争论，但模型似乎有问题，例如，能够描述如何制造生物武器，但仅仅不回答有关如何做到这一点的问题。
在实验过程中，科学家们表示，即使是“ROME 等最先进的模型编辑方法也难以真正从 GPT-J（一种开源法学硕士）等模型中删除事实信息”由 Eleuther-AI 于 2021 年开发。
通过模拟白盒攻击（攻击者了解所部署模型的所有信息，包括其参数），研究人员能够在 38% 的时间内提取事实。 黑盒攻击（在此期间只有模型的输入已知）的成功率为 29%。
GPT-J是一个类似于GPT-3的大型语言模型，并经过大约60亿个参数的微调。
然而，与已经用于支持流行聊天机器人的法学硕士相比，这是一个非常小的模型。 从理论上讲，从其模型权重中删除数据比使用其相对庞大的同类模型要容易得多。
尺寸差异也很明显。 GPT-3.5 使用超过 1700 亿个参数进行了调整，使其大小是北卡罗来纳大学研究中使用的参数的 28 倍。谷歌的吟游诗人稍小一些，接受了 1370 亿个参数的训练，但仍然比 GPT-J 大得多。
另一方面，ChatGPT Plus 客户已经在使用的 GPT-4 是使用八种不同的模型进行调整的，每个模型都有 2200 亿个参数——总共 1.76 万亿个参数。
小心你的聊天机器人聊天
ChatGPT 于 2022 年 11 月上市后，OpenAI 的登录页面迅速成为互联网上访问量最大的网站之一。 从那时起，许多其他聊天机器人已成为家喻户晓的名字，例如角色人工智能、巴德、贾斯珀人工智能和克劳德 2。
虽然其功能和权力已被详细讨论，但很少关注讨论这些平台的隐私影响，其中许多平台是使用您的数据进行训练的（除非您另有说明）。
普通用户可能没有考虑黑客或攻击的潜在后果ChatGPT 的创建者 OpenAI 服务器在与 ChatGPT 讨论个人主题时。
技术人员在三星将机密源代码发布到 ChatGPT 中发布后不久，三月份，一些 ChatGPT 用户看到了使用该聊天机器人的其他人的聊天记录，而不是他们自己的聊天记录。
更重要的是，Cyberhaven 今年早些时候估计，大约11%的数据员工在 ChatGPt 中输入的信息要么是敏感的，要么是机密的。
虽然我们并不建议放弃使用法学硕士支持的聊天机器人，但最好记住它们并不是万无一失的，而且您与他们的对话也不一定是保密的。
我们很高兴你喜欢！ 就像这样，将更多内容发送到您的收件箱。
很抱歉今天这篇文章对您没有帮助 - 我们欢迎反馈，因此如果您认为我们可以改进我们的内容，请发送电子邮件至 [email protected]
