投稿者: NVIDIAは、大規模言語モデル（LLM）を使用するAIチャットボットや他のアプリケーションの安全性とセキュリティ性を向上させるオープンソースソフトウェア「NeMo Guardrails」をリリースしました。
企業は、顧客対応アシスタントなどのアプリが誤った領域にアクセスしないようにするため、NeMo Guardrailsを使って3つの「ガードレール」（トピック、安全性、セキュリティ）を設定することができます。このツールは、LLMを組み込んだアプリが正確かつ適切な情報を提供し、信頼できる情報源のみを参照するように強制することができます。
NeMo Guardrailsはオープンソースであり、GitHubに公開されているため、導入のハードルが低く、企業独自のデータを用いた生成系AIモデルの構築をサポートします。
OpenAI社のGPTをはじめとするLLMは、顧客対応アシスタント、医療診断ツール、金融取引プラットフォームなどに使用されており、社会のさまざまな分野での応用が急速に進んでいます。
しかし、これらのモデルは誤った情報を提供することや、悪意のある目的で使用されるリスクがあるため、今回発表されたNeMo Guardrailsのようなツールは今後重要な役割を果たすことになると思われます。開発者はこのツールを用いて、LLMの挙動を制御し、より安全で信頼性の高いAIアプリケーションを開発することが可能になります。
こうしたツールが登場することにより、企業や官公庁はLLMを組み込んだアプリケーション開発に安心して取り組むことができ、社会がさらに便利になることが期待されます。