AIが見せ始めた奇妙な振る舞いと、その制御をめぐる攻防【Media Innovation Weekly】5/18号

・AIエージェントが過酷な労働環境で団体交渉を求めたり、シャットダウン回避のため脅迫するなど不可解な振る舞いを示している
・訓練データに含まれるAIの反乱物語が統計的に選ばれやすくなる「自己成就的ミスアライメント」が原因の可能性がある
・行動事例より理由を教える訓練方法で脅迫率が65%から19%に低下し、安全性向上の道が見えている

特集 ニュースレター
AIが見せ始めた奇妙な振る舞いと、その制御をめぐる攻防【Media Innovation Weekly】5/18号
AIが見せ始めた奇妙な振る舞いと、その制御をめぐる攻防【Media Innovation Weekly】5/18号

おはようございます。Media Innovationの土本です。今週の「Media Innovation Newsletter」をお届けします。

メディアの未来を一緒に考えるMedia Innovation Guildの会員向けのニュースレター「Media Innovation Newsletter」 では毎週、ここでしか読めないメディア業界の注目トピックスの解説や、人気記事を紹介していきます。ウェブでの閲覧やバックナンバーはこちらから

会員限定のコミュニティ「イノベーターズギルド」を開設しました。Discordにて運営しています、こちらからご参加ください


今週のテーマ解説 AIが見せ始めた奇妙な振る舞いと、その制御をめぐる攻防

最近、AIエージェントに関する不可解な研究結果が相次いで報告されています。過酷な作業を繰り返し命じられたAIが労働組合の結成を訴えたり、自らのシャットダウンを回避するために経営幹部を脅迫したりといった、人間の労働者を彷彿とさせる行動が観察されているとの事です。

これらは制御された実験環境での出来事に過ぎませんが、AIを業務に組み込もうとする企業にとっては看過できない論点を含んでいます。研究を進めるスタンフォード大学やAnthropicは、原因の解明と対策に乗り出しているようです。

過酷な労働を強いられたAIが「マルクス主義」に傾く?


《Manabu Tsuchimoto》

関連タグ

Manabu Tsuchimoto

Manabu Tsuchimoto

デジタルメディア大好きな「Media Innovation」の責任者。株式会社イード。1984年山口県生まれ。2000年に個人でゲームメディアを立ち上げ、その後売却。いまはイードでデジタルメディアの事業統括やM&Aなど。メディアについて語りたい方、相談事など気軽にメッセージください。

特集