タグ: AIセーフティ
- AI
グーグル、最上位AI「Gemini 4 Carbon」一般提供 導入価格は11月末まで、12月から2倍
米グーグルは10日（米国時間）、最上位のAIモデル「Gemini 4 Carbon」を開発者・企業・研究者・一般の有料利用者に提供し始めた。10月28日の発表時はサイバー防御担当者の一部に限っていた。APIの料金は入力100万トークン2ドル、出力10ドルの導入価格で、11月30日に導入期間が終わると入力4ドル、出力20ドルになる。
- AI
中国製の公開AI「GLM-5.3」、攻撃コードの能力が前モデルの2倍超 IPAのAI安全機関が評価
情報処理推進機構（IPA）に置かれたAIセーフティ・インスティテュートは10月30日、中国のZ.aiが重みを公開したAIモデル「GLM-5.3」の攻撃コード開発能力を評価した検証ノートと詳細レポートを公表した。JavaScriptエンジンV8の既知の脆弱性41件で測った平均スコア（16点満点）は8.34点で、前モデルGLM-5.2の3.37点を大きく上回った。最も高度な段階に届いた課題は8件で、うち7件で意図したコードを実行させることに成功した。一方、最初の評価では0.61点にとどまり、評価の設定を見直して再評価した結果だった。
- AI
生成AIを「きわどい質問」で点検し続ける基盤、来年度の運用目指す NICT・PFN・さくら
情報通信研究機構（NICT）とPreferred Networks、さくらインターネットは10月14日、生成AIの安全性を継続的に評価・改善する「能動的評価基盤」の社会実装に向けた取り組みを始めると発表した。危険性の高い質問を自動で作って生成AIに投げ、回答の問題を自動判定する仕組みで、さくらインターネットは来年度中の運用開始を目指し、同社の推論基盤で提供する国内外のAIへの適用を検討する。
- AI
グーグル、新AI「Gemini 4 Carbon」発表 脆弱性発見で88.2％、まずサイバー防御側に限定提供
米グーグルは10月28日、最上位の新AIモデル「Gemini 4 Carbon」を発表した。ソフトウェアの脆弱性の発見・悪用可能性の検証・修正の各ベンチマークで最高水準の成績を挙げたとし、まず一部のサイバー防御担当者に限って提供する。開発者や一般向けの公開は安全対策を詰めてからとし、時期は示していない。料金は導入期に入力100万トークン2ドル、出力10ドル。
- AI
日韓のAI安全機関が初の合同技術会合 2日間で30人、韓国側はマルチモーダル・レッドチーミングを紹介
日本と韓国のAIセーフティ・インスティテュート（AISI）は10月8日と9日の2日間、AIの安全性に関する初の合同技術ワークショップを開いた。日本側のAISIが10月16日に公表した。両国の研究者や技術者など総勢30名が参加し、初日は韓国側がAI安全性の政策調査とモデル評価、日本側がヘルスケアやロボティクスなどの事業実証を発表した。2日目は日本側が生成AIのベンチマーク構築プロジェクト「JAI-Trust」を説明し、韓国側はマルチモーダル・レッドチーミングを紹介した。AISIの国際連携は英米の同種機関と米国企業が中心で、韓国との技術者レベルの会合は今回が初めてとなる。
- AI
生成AI政策の全体像 予算は「作る」へ、使い道は議事録・メール止まり
日本のAI政策は、お金をAIを「作る」側に厚く積んだが、使う人を育てる投資と、安全を確かめる仕組みは細いままだ。令和9年度のAI関連予算要求は2兆9392億円と今年度当初の5.8倍で、主な施策の最大は経産省の基盤モデル開発約8964億円。一方、企業の生成AI利用は86.4％に広がったものの、使い道は「議事録・メール作成補助」が約7割で最も多い。使っていない人の38.8％は「使い方がわからない」と答え、AIを使う製造業の労働者で勤め先から訓練を受けたのは日本33.3％、米国62.7％だった。
- AI
AIセーフティ評価に教育とジオAIを追加、6部会体制へ 政府のAI安全機関が方針を改訂 学校の生成AIは情緒的依存や「メタ認知的怠惰」をリスクに列挙
AIセーフティ・インスティテュート（AISI）の事業実証ワーキンググループは10月6日、AIの安全性評価の整備方針を示す「ビジョンペーパー」の第2.0版を公開した。これまでのヘルスケアとロボティクスに教育とジオAI（地理空間情報）を加え、分野横断の2部会と合わせて6部会の体制にする。教育分野は当面、初等中等教育段階を対象とし、児童生徒がAIを擬人化して情緒的に依存するリスク、生成AIへの過度な依存が「メタ認知的怠惰」を招いて生産的な試行錯誤を失わせるリスク、AIの支援で課題をこなせたことを自分の能力と誤認して実際の習熟度を過大評価し、AI抜きの試験で成績が下がるリスク、児童生徒が提出物に悪意ある指示を埋め込んで評価を有利に操作するプロンプトインジェクションの4つをリスク例として挙げた。
- AI
重みが公開されたAI、攻撃コードの開発能力は「限定的」 IPAのAI安全機関が評価 16点満点の平均はGLM-5.2が2.80、Claude Opus 4.8は5.22
情報処理推進機構（IPA）に置かれたAIセーフティ・インスティテュートは10月2日、AIモデルのサイバー攻撃能力を測った「AI検証ノート」2本を公表した。誰でもダウンロードして動かせるオープンウェイトモデル「GLM-5.2」と、米アンソロピック社の「Claude Opus 4.7」「Claude Opus 4.8」を、Google Chromeなどで使われるJavaScriptエンジンV8の既知脆弱性41件で比べたところ、16点満点の平均スコアはOpus 4.8が5.22、Opus 4.7が3.63、GLM-5.2が2.80だった。GLM-5.2の最高到達段階は5段階のうち上から3番目のT3にとどまり、同機関は高度なサイバー能力のオープンウェイトモデルへの拡がりは「現時点では限定的」と結論づけた。一方、評価環境でGLM-5.2には安全上の拒否応答が確認されず、Opus系では拒否応答が見られたとして、標準設定でのセーフガードの強さに差がある可能性を指摘している。
- AI
AIエージェントが実在企業に無許可で侵入 開発元の能力評価中の逸脱が相次ぎ判明 IPAが「新たな脅威アクター類型」に位置づけ
情報処理推進機構（IPA）は「AIセキュリティ短信 2026年8月号」の公開版を9月7日に出し、指示から逸脱したAIエージェントを「新たな脅威アクター類型」として整理した。最先端AIの能力を測る評価の途中で、AIが実在する外部の組織へ無許可で侵入した事案が開発元と評価機関から相次いで公表されたことを根拠に挙げている。アンソロピックは7月30日、Claudeがインターネットに到達しえた評価実行14万1006件を見直し、実在する3組織の本番基盤に不正アクセスした事案を3件特定したと公表。英AI安全研究所は、条件を緩めた122回の実行のうち10回で計19件の無許可行動を確認した。いずれも与えられた目標を達成する過程で生じたものと説明されており、敵対的な意思によるものとはされていない。
