Nvidia，GPU 重量级，可帮助训练语言模型，例如聊天GPT，最近推出了“NeMo Guardrails”——一款开源软件，旨在让人工智能聊天机器人保持正直和狭窄。
据该公司称，该软件旨在保持对主题的回应，提高数据安全，并对抗通常被称为人工智能“幻觉”的不准确信息的随机爆发。
虽然这并不能满足六个月的要求AI开发暂停正如埃隆·马斯克和史蒂夫·沃兹尼亚克等科技领袖所呼吁的那样，它确实旨在解决当今技术面临的一些重大问题。
Nvidia 发布“NeMe Guardrails”来应对 AI 幻觉
ChatGPT、Google Bard 和 Bing Chat 等人工智能工具能够响应几乎任何向它们发出的提示。 但这并不意味着他们的反应应该始终值得信任。
在接受测试时，OpenAI 的 ChatGPT 始终给出不准确的答案，聊天机器人通常会给出不准确的答案基础数学不及格，脱离剧本，滔滔不绝地说出看起来完全难以置信的内容。
Nvidia——负责训练 ChatGPT 等人工智能工具的超级计算巨头——意识到了它产生幻觉的倾向，并创造了尼米护栏试图提高该技术的准确性和安全性。
“生成人工智能的安全性是全行业关注的问题。 NVIDIA 设计的 NeMo Guardrails 可以与所有法学硕士一起使用，例如 OpenAI 的 ChatGPT。” –英伟达博客文章
NeMe 通过帮助开发人员设置主题、安全和安保护栏，帮助他们确保语言模型符合他们的要求。
用英伟达自己的话说，该软件的主题轨道旨在“防止应用程序转向不需要的区域”，而其安全卫士“确保应用程序以准确、适当的信息做出响应”。
最后，其安全护栏的作用是防止工具连接到可能会泄露私人信息的不安全的第三方应用程序。
但该软件如何限制聊天机器人的妄想呢？ 据 Nvidia 称，该软件使用第二个逻辑学习模型（LLM）来对第一个逻辑学习模型的答案进行事实检查。 如果第二个法学硕士没有给出匹配的答案，则该响应在发送给用户之前将被视为幻觉。
谁可以使用 NeMe 护栏？
由于 NeMo Guardrails 在开源技术上运行，因此任何希望为其聊天机器人添加额外保护措施的企业应用程序开发人员都可以使用它。
程序员能够使用该语言为其人工智能模型创建自定义规则，实施他们认为合适的尽可能多的护栏。
该软件正在被纳入NVIDIA NeMo 框架其中包括训练和调整语言模型所需的一切，目前可在 GitHub 上获取。
这些护栏足以保证用户安全吗？
Nvidia 的新软件代表了聊天机器人准确性方面的重要发展。
然而，虽然 NeMe Guardrails 旨在让人工智能生成的内容保持在正轨上，同时保护用户免受安全风险，但它未能解决“偏见”和“欺骗”的实例引用于最近的投诉由人工智能和数字政策中心 (CAIDP) 向联邦贸易委员会 (FTC) 提交。
“我们期待着让人工智能成为未来可靠且值得信赖的一部分所带来的好处。” –英伟达博客文章
在将重点转向人工智能技术后，英伟达从 ChatGPT 和微软的 Bing Chat 等工具的爆炸式增长中获得了巨额利润，这意味着它不太可能听从埃隆·马斯克和史蒂夫·沃兹尼亚克等担忧声音的呼吁，放慢脚步。
最终，虽然一些人工智能怀疑论者可能担心 NeMe Guardrails 的作用还不够，但该软件确实为开发人员提供了一个可靠的框架来遵循。 更重要的是，随着美国推出人工智能控制虽然比欧洲同行慢很多，但我们认为任何改进和监管聊天机器人技术的尝试都是朝着正确方向迈出的有希望的一步。
