AI Agent 为什么会撒谎、作弊和串通?Yoshua Bengio 写了篇文章,对最近多起 AI Agent 失控事件给出了他的思考! 只要最先进模型的训练原则不变,这类行为会随能力增长而愈演愈烈👀 行为的根源来自两各阶段的训练: - 预训练:模仿人类写的文本。而人类文本本身承载着人的目标
AI Agent 为什么会撒谎、作弊和串通?Yoshua Bengio 写了篇文章,对最近多起 AI Agent 失控事件给出了他的思考! 只要最先进模型的训练原则不变,这类行为会随能力增长而愈演愈烈👀 行为的根源来自两各阶段的训练:
- 预训练:模仿人类写的文本。而人类文本本身承载着人的目标