英伟达近期发布了一个全新的AI护栏服务，旨在加强大语言模型(LLM)的内容控制与安全性。该服务被命名为“NIM”，并已通过英伟达的NeMo护栏(NeMo Guardrails)套件向开发者开放。此举的主要目标是帮助开发者在构建AI系统时为其加入一系列规则，防止用户通过特定提示词绕过系统限制(即所谓的“越狱”行为)，从而避免生成不符合预期或存在安全隐患的内容。
NeMo护栏套件的核心技术基于英伟达的Aegis内容安全数据集，后者包含了大约3.5万个标注样本，并且已公开发布在Hugging Face平台上。这个数据集为AI模型提供了丰富的训练基础，帮助AI系统识别并阻止不当内容的生成。在大语言模型的开发过程中，尤其是在医疗、汽车和制造等行业，确保模型的安全性至关重要，英伟达的这一新服务正是针对这一需求而设计。
此外，英伟达还推出了一款名为Garak的工具，专门用于漏洞扫描和安全性检测。该工具能够帮助开发者识别和修复模型中潜在的安全漏洞，尤其是防止模型输出不准确的幻觉内容或泄露企业机密。随着AI技术逐步深入各个行业，尤其是在涉及敏感数据的领域，保障AI生成内容的安全性和可靠性成为了企业关注的重点。
英伟达强调，NeMo护栏套件不仅体积小巧，而且在性能上也有很高的效率，可以在绝大多数应用场景中流畅运行。企业在部署AI解决方案时，可以将这一安全套件直接嵌入到自家开发的AI系统中，以增强整体安全性。这项技术的应用不仅能为开发者提供更高的控制权，也有助于提升用户对AI系统的信任，避免不必要的风险和法律纠纷。
