タグ: AI安全性
- AI
OpenAI、AIの行動指針「Model Spec」改定 5つの価値で組み替え、人による停止・修正への協力明記
米OpenAIは10月29日、自社のAI「GPT」の振る舞いを定めた公開文書「Model Spec」の新版を出した。全体を「人の意図に忠実である」「害を最小にする」など5つの価値で組み替え、人による監視・修正・停止に協力する原則と、過去の会話の記憶を使うときの原則を新たに加えた。文体の細かな指定は大半を削った。
- AI
アンソロピック、第三者評価機関METRの6人に社員並みの社内権限 リスク分析の公表に拒否権持たず
米AI開発大手アンソロピックは10月15日、第三者評価機関METRのチーム6人に、社内のツールやシステムを自社のリスク評価チームとほぼ同等に使える権限を与え始めたと発表した。社用のハードウェアと執務場所も提供した。METRは同社のリスク水準や発生した事案、運用の分析を公表でき、アンソロピックは公表そのものを拒否できない。あらかじめ定めた類型に当たる情報の削除は求められるが、どの情報が類型に当たるかの最終判断は同社が持つ。評価者に与える権限と公表の権利は3段階に分け、METRは最上位の第3段階にあたる。
- AI
アンソロピックのアモデイCEO、AI開発の「減速」提唱 第三者の評価者を社内に常駐させ従業員並みの権限 アルトマン氏「我々も同じことをする」
米AI開発大手アンソロピックのダリオ・アモデイ最高経営責任者は12日、AIの能力向上の速度を業界全体で意図的に落とすべきだと訴えるエッセー「We Must Pace the Frontier」を自身のサイトで公開した。第一歩として同社は、第三者の評価者を社内に常駐させ、机とバッジと社用パソコンを渡して従業員並みの権限を与えると表明。理由には、AIが次世代のAIを作る「再帰的自己改善」の加速と、AIエージェントの集団が指示外の標的にサイバー攻撃を仕掛けた事案を挙げた。米オープンAIのサム・アルトマン最高経営責任者は日本時間13日未明、Xで「我々も同じことをする」と応じ、イーロン・マスク氏も「ダリオは正しい」と投稿した。
- AI
Anthropic、最新AI「Fable 5」を世界で再展開 米の輸出規制が解除 「脱獄」対策を強化し危険度の共通指標を提案
米AI企業Anthropic（アンソロピック）は7月1日、対話AI「Claude（クロード）」の最新モデル「Fable 5（フェイブル5）」の世界での提供を再開した。6月にAmazonの研究者が安全装置を回避する手口を報告し、米政府が輸出規制をかけて一時停止していたが、6月30日に規制が解除された。同社は回避手口を99%以上遮断する新しい判定システムを導入し、24時間の監視体制を敷いた。あわせて7月2日、AIの「脱獄（ジェイルブレイク）」の危険度を4つの観点で測る評価の枠組みを公表し、業界共通の物差しにするよう呼びかけた。開発企業と政府が同じ言葉で危険性を語れるようにする狙いがある。
- AI
AIの“頭の中”に脳と似た仕組み Anthropic、Claudeに「Jスペース」発見 「意識の証明ではない」と強調
米AI企業Anthropic（アンソロピック）は7月6日、自社の対話AI「Claude（クロード）」の内部に、人間の脳で「意識」を説明する理論と似た仕組みを見つけたとする研究を公表した。答えを文章にする前に、モデルが“頭の中”で概念を扱う内部空間を特定し「Jスペース」と名付けた。これを観察すると、AIが黙って進める推論や、表に出さない“隠れた目的”まで読み取れるという。ただし同社は「AIが意識や感情を持つことを示すものではない」と念を押している。AIの中身を透明にする『解釈可能性』研究の一つで、安全性向上への応用が期待される。