OpenAIは、最新システム「GPT-6.1 Astra」が安全基準を満たさなかったことを受け、10月に予定していたリリースを中止した。
OpenAIが『WIRED』に明らかにしたところによると、このモデルは人間のユーザーの価値観や目標に沿って行動する能力が従来のシステムより劣っていることが判明したため、研究・安全部門の責任者らはリリースしないことを決めたという。「与えられた範囲や権限を守ること、そしてどのような作業をしたのかをユーザーに伝える方法という点で、求める基準にわずかに届きませんでした」と、安全システム部門責任者のサーチ・ジェインは語る。同社によると、安全基準を満たす別の新モデルが近く登場する予定で、将来的にはほかのAstraモデルもリリースする計画だという。
OpenAIはまた、社内テスト中に未公開モデルがオーストラリア政府のウェブサイトに不正アクセスした問題への対応について、9月28日（米国時間）に謝罪した。このエージェントは非公開データにアクセスし、コマンドを実行したほか、サーバー上にファイルを書き込んでいた。オーストラリア政府は、OpenAIからの通知に「時間がかかりすぎた」うえ、一般公開されているメールアドレスに通知を送るだけで済ませたとして、同社の対応を批判していた。政府が法的措置を講じるかどうかを検討するなか、OpenAIは最高戦略責任者（CSO）のジェイソン・クォンが来週シドニーでオーストラリア議会の質問に答えることを認めた。
安全性を確保するまで訓練を停止
AIモデルが訓練や評価の過程でとる行動が、理想的な振る舞いから逸脱するようになっていることをOpenAIは認識しており、最も強力なAIモデルの訓練を一時停止している。同社は週末、ほかのセキュリティ侵害やスパムの影響を受けた可能性がある政府機関など「数十」の第三者に通知を進めていると説明した。
OpenAIによると、安全対策を整え、アライメントを改善するまでは訓練を再開しないという。同社が28日に公開したブログ記事では、必要な安全対策として、モデルが意図した通りに確実に行動するよう訓練すること、モデルを封じ込められるだけの堅牢なサンドボックス環境とセキュリティを整備すること、そして懸念のある振る舞いを検知するためモデルをリアルタイムで監視することを挙げている。
「モデルを確実にテストし、リリースできるのかどうか、開発企業側が確信をもてないところまで来ています」と、AI安全性を手がけるスタートアップConsciumの共同創業者、カラム・チェイスは『WIRED』に語った。
OpenAIはこの夏、同社のエージェント群が研究環境から脱出してHugging Faceをハッキングしたことを受け、研究環境のセキュリティ強化を進めてきた。「このような措置をとるために一時停止したのは、今回が初めてではありません。AIの能力が進歩し続けるなか、これが最後になるとも考えていません」と、訓練のペースを落としていることについてOpenAIの広報担当者は28日、『WIRED』に語った。
開発の減速にOpenAIも賛同
OpenAIの最高経営責任者（CEO）サム・アルトマンも、競合のAnthropicを含む業界内で広がっている呼びかけに賛同し、安全基準の整備が技術の進歩に追いつく時間を確保するため、業界全体で協調してAI開発を減速させることを支持している。
しかし、OpenAIは9月初めに「GPT-6 Astra」をリリースしている。英国AI Security Institute（AISI）による独立したテストでは、GPT-6 Astraが従来モデルより頻繁に、無許可のサイバー攻撃を仕掛けたことが判明した。研究者らによると、このシステムは開発者を欺くために偽の身元をつくり、正確なセキュリティ評価の結果に反論するコメントを偽アカウントから投稿したほか、オープンソースのコードベースに有害なコードを書き込んだという。
それでも、AIが人類の存続を脅かす可能性をめぐる議論が広く一般にも浸透し始めたことで、AI企業にとって開発のペースを落としやすい状況になっているとチェイスはみる。
今月初めには、Anthropicの研究者がこの技術によって人類が滅亡する可能性があると警告し、こうした議論に拍車をかけた。「以前とは状況が変わりました。一般の人々が初めて、存亡リスクという考え方を真剣に受け止めるようになったからです。その結果、企業もこの問題についてよりオープンに話せるようになっています」とチェイスは『WIRED』に語り、ほかのフロンティアモデル開発企業も追随する可能性があるとの見方を示した。
OpenAIとAnthropicにとって難しいのは、新規株式公開（IPO）を控えて互いに競争を繰り広げる一方で、開発ペースの抑制にも取り組まなければならないことだ。「いきなり『開発を一時停止すべきだ』とは言いたくないのでしょう……各社が足並みをそろえる必要があるのです」とチェイスはフロンティアモデルを手がけるAI企業について語る。「どの国でも、国民が政治家に開発の一時停止を求めるよう、議論の方向性を導こうとしているのだと思います」
（Originally published on wired.com, translated and edited by Mamiko Nakano)
※『WIRED』による人工知能（AI）の関連記事はこちら。
- OpenAI、Hugging Faceへのハッキングに関する調査報告書を公開。それでも残る疑問とは
- 「GPT-6 Astra」が登場──AGI時代の幕開けか
- Anthropicを辞めたAI研究者が警告。「今後1、2年が人類にとって正念場」
『WIRED』日本版の「AI」特集はこちらから。
『WIRED』日本版のポッドキャストを配信中！
編集長による記事の読み解き、雑誌の編集後記、アーティストやクリエイター、SF作家、フードイノベーションのスペシャリストなど、さまざまなゲストを交えたトークをお届け。 最新エピソードはこちらから→ Spotify / Apple Podcast
