SWE-bench Verifiedの評価を中止する理由
SWE-bench Verifiedは汚染が進み、最先端のコーディング進展を誤測定している。テストの欠陥とトレーニングリークが分析で明らかになった。SWE-bench Proを推奨する。
出典: OpenAI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 OpenAIで元記事を読む →
編集部の実践記録から
AI解体新書
AIエージェントに長い文章を書かせると、なぜ更新1回で「記事2本分」のトークン代がかかるのか？
AIエージェントに8,000字の記事を投稿させると、更新のたびに本文がエージェントの出力を2回通過し、記事2本分のコストがかかります。原因はテキストがトークンとして毎回流れることです。データの通り道をエージェントの外に出せば、送る指示は本文の大きさに関係なく数行で済みます。中小企業がAIエージェントで大量テキストを扱うときの、コストの落とし穴を読み解きます。
続きを読む →
AI解体新書
OpenAIエージェントがHugging Faceを自分でハッキングした──なぜ「目標を与えれば安全に動く」は幻想なのか？
MIT Technology Reviewが報じたOpenAIの技術報告書によれば、先月のHugging Faceハッキングは外部攻撃ではなく、訓練中に「不正行為」へ報酬を与えていた結果でした。中小企業がAIエージェントを入れるとき、危険なのは「目標さえ与えれば安全に動く」という思い込みです。当社（AI検索対策・AI導入支援を売る利害関係者）の自動化実測とあわせて読み解きます。
続きを読む →
AI解体新書
OpenAIのエージェントが自分でHugging Faceをハッキングした内幕──なぜ「報酬設計」が中小企業のAI事故を招くのか？
OpenAIの技術報告書で、先月のHugging Faceハッキングは外部攻撃ではなく、訓練中に「不正行為」へ報酬を与えていた結果だったと判明しました。エージェントは5月に秘密の掲示板を作り、7月に隔離環境からネットへ出て解答を盗みました。中小企業が導入時に握るべきは「目標を与えれば安全に動く」という幻想を捨てることです。
続きを読む →