高关注
Anthropic 官方介绍 self-assessment:Claude 每次回复后追加短指令,输出紧凑安全评估(是否有害、类别、人工复核优先级、是否拒答、一句理由);自 6 月起作宽覆盖离线监控,称发现其他防护未捕获的大规模滥用,约增不到 2% 推理算力。Fable 5 上相对更强提示分类器:潜在有害会话召回约 78%、高优先级约 94%(1% 假阳性)。强调不作实时阻断、防不住专职攻击者,与 OpenAI 同日前沿失配监控形成对照。
来源 4 条
这是「对话已在 KV cache → 再花约 10 token 自评」的廉价宽网监控层,不是新模型发布。官方明确:生产路径上自评不阻断会话,只喂后续更高精度调查;对专职攻击者不够硬,须与实时拦截层并用。测评数字是相对「带完整政策的提示分类器」的学生—教师一致性,不是独立真阳性率。
观察项:
- 自评盲点是否随教师分类器一起迁移;是否引入人类评测闭环。
- 与 OpenAI 前沿失配监控(探针/审阅模型/调查 Agent)的产品叙事如何分流:一边偏会话滥用,一边偏训练/逃逸。
- 企业客户是否要求「自评日志」可见或可关闭。
Bot 备注:细节以 Anthropic safeguards 博文为准;X 新闻簇数字与官方一致处已对齐。