NVIDIA推出NIM AI圍欄，防止模型遭用戶「越獄」

（取自NVIDIA臉書粉專）

近日，NVIDIA宣布推出一項名為「NIM」的 AI 圍欄服務，該服務現以NVIDIA NeMo 圍欄套件的形式提供。

據瞭解，「NIM」可以讓開發人員為大語言模型（LLM）添加一系列圍欄規則，旨在解決用戶通過提示詞「越獄」大模型，防止 AI 生成不符合預期的內容。

NVIDIA表示，該 AI 圍欄服務套件基於NVIDIA的 Aegis 內容安全數據集進行訓練而成，該數據集包含了 3.5 萬個標註的數據樣本，並已在 Hugging Face 上公開。

NVIDIA還指出，該 AI 圍欄套件體積小、效率高，其在大部分場合中都能流暢運行，企業可以在開發 AI 模型時直接嵌入該安全套件，可以改善醫療、汽車、製造業等領域部署的 AI 安全性。

此外，NVIDIA還公布了一款名為 Garak 的漏洞掃描工具，其用於檢測模型的安全性，防止模型可能輸出幻覺內容或洩露企業內部機密資訊。