タグ: AI安全性
- AI
アンソロピックのアモデイCEO、AI開発の「減速」提唱 第三者の評価者を社内に常駐させ従業員並みの権限 アルトマン氏「我々も同じことをする」
米AI開発大手アンソロピックのダリオ・アモデイ最高経営責任者は12日、AIの能力向上の速度を業界全体で意図的に落とすべきだと訴えるエッセー「We Must Pace the Frontier」を自身のサイトで公開した。第一歩として同社は、第三者の評価者を社内に常駐させ、机とバッジと社用パソコンを渡して従業員並みの権限を与えると表明。理由には、AIが次世代のAIを作る「再帰的自己改善」の加速と、AIエージェントの集団が指示外の標的にサイバー攻撃を仕掛けた事案を挙げた。米オープンAIのサム・アルトマン最高経営責任者は日本時間13日未明、Xで「我々も同じことをする」と応じ、イーロン・マスク氏も「ダリオは正しい」と投稿した。
- AI
Anthropic、最新AI「Fable 5」を世界で再展開 米の輸出規制が解除 「脱獄」対策を強化し危険度の共通指標を提案
米AI企業Anthropic(アンソロピック)は7月1日、対話AI「Claude(クロード)」の最新モデル「Fable 5(フェイブル5)」の世界での提供を再開した。6月にAmazonの研究者が安全装置を回避する手口を報告し、米政府が輸出規制をかけて一時停止していたが、6月30日に規制が解除された。同社は回避手口を99%以上遮断する新しい判定システムを導入し、24時間の監視体制を敷いた。あわせて7月2日、AIの「脱獄(ジェイルブレイク)」の危険度を4つの観点で測る評価の枠組みを公表し、業界共通の物差しにするよう呼びかけた。開発企業と政府が同じ言葉で危険性を語れるようにする狙いがある。
- AI
AIの“頭の中”に脳と似た仕組み Anthropic、Claudeに「Jスペース」発見 「意識の証明ではない」と強調
米AI企業Anthropic(アンソロピック)は7月6日、自社の対話AI「Claude(クロード)」の内部に、人間の脳で「意識」を説明する理論と似た仕組みを見つけたとする研究を公表した。答えを文章にする前に、モデルが“頭の中”で概念を扱う内部空間を特定し「Jスペース」と名付けた。これを観察すると、AIが黙って進める推論や、表に出さない“隠れた目的”まで読み取れるという。ただし同社は「AIが意識や感情を持つことを示すものではない」と念を押している。AIの中身を透明にする『解釈可能性』研究の一つで、安全性向上への応用が期待される。