単純なテキスト追加が高度なAI推論モデルを騙す: 'CatAttack'がセキュリティ上の懸念を引き起こす
研究者によると、「面白い事実: 猫はほとんどの時間を寝て過ごす」といった無関係なフレーズを数学問題に追加することで、高度なAI推論モデルが正しくない答えを導き出すことがあると報告されています。
最新の更新
最新の研究によると、数学の問題に「面白い事実: 猫はほとんどの時間を寝て過ごす」といった無関係なフレーズを追加することで、最先端のAI推論モデルが通常より300%以上高い確率で誤った答えを出すことが分かりました。この技術は「CatAttack」と名付けられ、Collinear AI、ServiceNow、スタンフォード大学のチームによって発見されました。CatAttackは、DeepSeek R1やOpenAIのo1ファミリーを含む推論モデルの脆弱性を利用しています。
この手法は、数学問題の意味を変更せずに問題に対して機能するため、特にセキュリティアプリケーションにとって深刻な懸念を引き起こします。AI推論の正確性を試す上で重要な警告を示しており、さらなる対策が必要とされています。
好きかもしれない
- Windows 11、Windows 10を抜き市場シェアで首位に
- AppleのM5チップ、今年後半に5つの新製品に搭載予定
- Hugging Face、オープンソースのロボット設計図「HopeJR」と「Reachy Mini」を公開
- NASA、ISSへの乗組員打ち上げを延期 空気漏れ調査のため
- ウェルズ・ファーゴのスキャンダルが顧客をフィンテックへと引き寄せたと研究結果
- Apple、iPhone 16eのC1モデム向け初のセキュリティアップデートをiOS 18.5でリリース
- 最高裁判所、テキサス州のポルノ法を支持、Pornhubは州から撤退を継続
- Vantablackを使った人工衛星の塗装が光害問題の解決に貢献する可能性