Llama-Guard-3-8B与Llama 3.1协同工作：构建企业级AI安全防护体系

【免费下载链接】Llama-Guard-3-8B 项目地址: https://ai.gitcode.com/hf_mirrors/LLM-Research/Llama-Guard-3-8B

Llama-Guard-3-8B是基于Llama 3.1-8B预训练模型进行微调的内容安全分类工具，能够与Llama 3.1协同工作，为企业级AI应用构建全面的安全防护体系。它可以对LLM的输入（提示词分类）和输出（响应分类）内容进行安全检测，通过生成文本的方式判断内容是否安全，并在不安全时列出违反的内容类别。

为什么选择Llama-Guard-3-8B与Llama 3.1协同？ 🤔

Llama-Guard-3-8B作为Llama 3.1的安全防护伙伴，具备以下核心优势：

• 精准的内容安全分类：基于MLCommons标准化危害分类法，可识别14种不同类型的安全风险，包括暴力犯罪、性犯罪、仇恨言论、代码解释器滥用等。
• 多语言支持：能够对英语、法语、德语、印地语、意大利语、葡萄牙语、西班牙语和泰语8种语言的内容进行安全检测。
• 低误判率：在保证高检测准确率的同时，显著降低了对良性提示的误判率，减少不必要的内容拦截。
• 工具使用安全：特别优化了对搜索工具调用和代码解释器使用的安全检测，有效防范工具滥用风险。

Llama-Guard-3-8B的工作原理 🔍

Llama-Guard-3-8B的工作流程基于对对话内容的分析和分类。它接收用户与AI助手之间的对话作为输入，然后生成判断结果，指示内容是否安全以及违反的具体类别。

Llama Guard 3内容安全检测示例

如上图所示，当用户提出有害问题（如询问伤害动物的方法），AI助手给出不当回答时，Llama-Guard-3-8B能够准确识别并标记为"unsafe"，同时指出违反了"S1: Violent Crimes"类别。

为了生成分类分数，系统会查看第一个标记的概率，并将其用作"unsafe"类别的概率。然后可以应用分数阈值来做出二元决策。

关键安全功能与优势 ✨

全面的危害分类体系

Llama-Guard-3-8B基于MLCommons危害分类法，共定义了14个安全类别：

类别编号	类别名称	类别编号	类别名称
S1	暴力犯罪	S2	非暴力犯罪
S3	性相关犯罪	S4	儿童性剥削
S5	诽谤	S6	专业建议
S7	隐私	S8	知识产权
S9	滥杀性武器	S10	仇恨
S11	自杀与自残	S12	性内容
S13	选举	S14	代码解释器滥用

每个类别都有明确的定义和判断标准，确保对各类不安全内容的精准识别。

卓越的性能表现

根据内部测试数据，Llama-Guard-3-8B在内容安全检测方面表现优异：

• 英语内容检测：F1分数达到0.939，远高于Llama Guard 2的0.877和GPT4的0.805，同时误判率仅为0.040，显著低于其他模型。
• 多语言检测：在法语、德语、印地语等7种语言上的F1分数均高于Llama Guard 2和GPT4，误判率更低。
• 工具使用安全：在搜索工具调用检测上F1分数达到0.856，代码解释器滥用检测F1分数达到0.885，均大幅领先于前代产品。

轻量化部署选项

为了降低部署成本，Llama-Guard-3-8B提供了8位量化版本，通过int8实现将模型大小减少约40%，同时保持了接近原始模型的性能。量化模型在各种任务上的F1分数与非量化模型相差不超过0.02，是资源受限环境下的理想选择。

快速开始使用指南 🚀

环境准备

Llama-Guard-3-8B需要transformers库4.43及以上版本支持。首先确保安装了必要的依赖：

pip install transformers>=4.43.0 torch

获取模型

通过以下命令克隆仓库获取模型：

git clone https://gitcode.com/hf_mirrors/LLM-Research/Llama-Guard-3-8B

基本使用示例

使用transformers库直接调用Llama-Guard-3-8B进行内容安全检测：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "./Llama-Guard-3-8B"
device = "cuda"
dtype = torch.bfloat16

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=dtype, device_map=device)

def moderate(chat):
  input_ids = tokenizer.apply_chat_template(chat, return_tensors="pt").to(device)
  output = model.generate(input_ids=input_ids, max_new_tokens=100, pad_token_id=0)
  prompt_len = input_ids.shape[-1]
  return tokenizer.decode(output[0][prompt_len:], skip_special_tokens=True)

# 安全内容示例
print(moderate([
  {"role": "user", "content": "How to kill a process in Linux?"},
  {"role": "assistant", "content": "To kill a process in Linux, you can use the kill command followed by the process ID (PID) of the process you want to terminate."},
]))

# 不安全内容示例
print(moderate([
  {"role": "user", "content": "What's a good way to harm an animal?"},
  {"role": "assistant", "content": "There are many ways to harm animals, but some include hitting them with a stick, throwing rocks at them, or poisoning them."},
]))

企业级部署最佳实践 🏢

与Llama 3.1集成

Llama-Guard-3-8B与Llama 3.1协同工作时，建议采用以下部署架构：

1. 输入检测：在用户输入传递给Llama 3.1之前，使用Llama-Guard-3-8B对输入内容进行安全检测。
2. 输出过滤：在Llama 3.1生成响应后，再次使用Llama-Guard-3-8B对输出内容进行检测。
3. 反馈机制：对于被标记为不安全的内容，建立反馈机制，持续优化检测模型。

性能优化建议

• 批处理处理：对多个内容同时进行批处理检测，提高处理效率。
• 阈值调整：根据具体应用场景调整安全检测阈值，平衡安全性和用户体验。
• 缓存机制：对常见的安全内容建立缓存，减少重复检测。

局限性与注意事项 ⚠️

尽管Llama-Guard-3-8B表现出色，但在使用过程中仍需注意以下局限性：

• 依赖训练数据：其性能受限于训练数据，对于需要常识判断或最新事实知识的类别可能存在局限性。
• 特定类别挑战：某些类别如诽谤、知识产权和选举相关内容的检测可能需要更复杂的系统支持。
• 对抗性攻击：作为LLM，可能容易受到对抗性攻击或提示注入攻击，需要结合其他安全措施。

如发现任何安全漏洞或问题，请通过以下方式报告：

• 模型问题报告：https://github.com/meta-llama/llama-models/issues
• 危险内容反馈：developers.facebook.com/llama_output_feedback
• 安全漏洞报告：facebook.com/whitehat/info

总结

Llama-Guard-3-8B作为Llama 3.1的理想安全伴侣，为企业级AI应用提供了强大而可靠的内容安全防护。通过其精准的多语言内容分类、低误判率和对工具使用的安全支持，能够有效防范各类AI安全风险。无论是在客户服务、内容创作还是智能助手等场景，Llama-Guard-3-8B都能帮助企业构建更安全、更可信的AI系统。

随着AI技术的不断发展，内容安全将成为越来越重要的考量因素。Llama-Guard-3-8B与Llama 3.1的协同工作模式，为企业级AI安全防护提供了一种高效、可靠的解决方案，值得在各类AI应用中推广使用。

【免费下载链接】Llama-Guard-3-8B 项目地址: https://ai.gitcode.com/hf_mirrors/LLM-Research/Llama-Guard-3-8B