跳到主要内容
知仓学习社ZHICANG

content-moderation-api

Content moderation API integration using OpenAI Moderation, Perspective API, and others

不碰外部(只输出文字)无严重或高危命中a5c-ai/babysitter

它会碰到什么

扫了多少2 个文本文件,2 KB
它会碰到什么不碰外部(只输出文字)
命中总数0 处
命中统计严重 0 · 高 0 · 中 0 · 低 0

这一栏是扫描器报的事实,不是结论。命中多不等于有毒(安全工具、规则库、示例脚本本来就会包含危险写法),命中少也不等于干净。它和你手上的凭据、文件、网络有什么关系,需要你自己看。

技能内容

Content Moderation API Skill

Capabilities

  • Integrate OpenAI Moderation API
  • Set up Perspective API for toxicity detection
  • Configure moderation thresholds
  • Implement content filtering pipelines
  • Design moderation response handling
  • Create moderation logging and reporting

Target Processes

  • content-moderation-safety
  • system-prompt-guardrails

Implementation Details

Moderation APIs

  1. OpenAI Moderation: Hate, violence, self-harm, sexual content
  2. Perspective API: Toxicity, insult, profanity, threat
  3. Azure Content Safety: Text and image moderation
  4. LlamaGuard: Open-source safety classifier

Configuration Options

  • API credentials and endpoints
  • Category thresholds
  • Action policies (block, warn, flag)
  • Logging configuration
  • Fallback behavior

Best Practices

  • Set appropriate thresholds
  • Handle edge cases gracefully
  • Log moderation decisions
  • Regular threshold review
  • Multi-layer moderation

Dependencies

  • openai
  • google-cloud-language (Perspective)
  • azure-ai-contentsafety

想直接用这个技能?

本站把开放许可(MIT / Apache 等)的技能按仓库打包整理到网盘,点一下转存到你自己的网盘,不用一个个从 GitHub 拉。许可未声明的技能只给原始仓库链接,不打包。

它属于哪个仓库

星标★ 1,796
本站分层T1
该仓技能数2115
原文件路径library/specializations/ai-agents-conversational/skills/content-moderation-api/SKILL.md

同一个仓库里的其他技能

看这个仓库的全部 2115 个技能