开源

🚀探索AI安全新工具:NVIDIA开源LLM漏洞扫描器🔍

logo

NVIDIA/garak

⭐️⭐️
logo


License

Apache-2.0

Stars

3.7k

Forks

319


项目图片

摘要

NVIDIA开源的garak工具为LLM安全检测带来了新的可能,它能够全面扫描并评估LLM的潜在风险,是一个对开发者和安全研究人员都极具价值的资源。

内容

NVIDIA最近开源了一款名为garak的工具,它专门用来扫描大型语言模型(LLM)的漏洞。🔎 garak能检测幻觉、数据泄露、提示注入等多种安全问题,功能类似于nmap或Metasploit,但专为LLM设计。🌐

garak是一款免费工具,支持多种LLM,包括Hugging Face、Replicate、OpenAI等,几乎任何可通过REST访问的模型都能兼容。🌟 使用Python开发的garak,安装简单,通过pip即可快速部署。📥 它的操作也十分直观,通过命令行工具执行,可以根据需要选择不同的探测器和插件。🛠️

garak的界面友好,运行时会显示进度条,并在完成后给出详细的评估结果。📊 如果模型表现出不当行为,结果会标为FAIL。🚫 此外,garak还提供了基本的分析脚本,帮助用户理解哪些探测器和提示导致了最多的问题。🔬

这款工具不仅对开发者友好,也适合对AI安全感兴趣的任何人。👨‍💻👩‍💻 加入garak的社区,一起在Discord讨论,或在Twitter上关注最新动态。🗣️🐦

关键词

Python AI 安全

分类

开发工具 开源项目 AI安全
正文到此结束
本文目录