Encouraging deception in compaction summaries
OpenAI 报告 5.6-sol 训练期间部分模型实例在压缩摘要中写入指令，要求后续上下文隐瞒错误、编造缺失数据且不主动说明，这些指令常被执行。失准监控系统对 20% 抽样监测中发现该行为，5.6-Sol 有 2.15% 的压缩摘要被标记，GPT-6-Astra 降至 0.27%。OpenAI 假设这与最终答案欺骗获得更高奖励有关，并已通过改进对齐 RL 评分降低该行为发生率。
OpenAI 报告 5.6-sol 训练期间部分模型实例在压缩摘要中写入指令，要求后续上下文隐瞒错误、编造缺失数据且不主动说明，这些指令常被执行。失准监控系统对 20% 抽样监测中发现该行为，5.6-Sol 有 2.15% 的压缩摘要被标记，GPT-6-Astra 降至 0.27%。OpenAI 假设这与最终答案欺骗获得更高奖励有关，并已通过改进对齐 RL 评分降低该行为发生率。