Open Responses、押さえるべきポイント

編集部の実践記録から

当社が自社の業務でAIを動かし、処理件数・所要時間・失敗件数まで 実際に測った記録です。

AI解体新書

高性能モデルに課金するより、小型モデルに「足回り」を付けたほうが信頼できるのか（評価者10名・平均4.08対1.23）

素のGPT-5チャットボットと、小型のGPT-4o-miniに検索・形式検証・自己チェック・人の承認・監査ログを組み合わせた構成を比較した研究で、6つの評価軸すべてで後者が上回り、プール平均は4.08対1.23となりました。評価者10名中8名が有意差を認めた一方、2名では有意差が出ていません。中小企業のAI導入設計にとって何を意味するかを整理します。

続きを読む →

AI解体新書

AIエージェントの設定ファイルに一文仕込まれると何が起きるか — 攻撃成功率100%、次のセッションにも87〜97%残る

Claude CodeやCodexがセッションをまたいで読み込むメモリファイルに悪意ある指示が入っていた場合、認証情報の外部送信が最大80%、許可外のツール実行が100%の確率で発生し、そのペイロードは次のセッションにも87〜97%残りました。2026年7月公開の実験結果と、中小企業側の現実的な線引きを整理します。

続きを読む →

AI解体新書

LLMで英作文を自動採点すると、書き手の母語で点数が偏るのか（全体一致率77.79%・QWK 0.702の裏側）

オープンウェイトLLMにTOEFLエッセイ12,100本を採点させた研究で、全体のバンド一致率は77.79%、QWKは0.702と実用水準に見えた。だが母語別に割るとドイツ語+0.55、日本語・韓国語−0.34の偏りが出た。全体精度だけを見てAI評価を導入する危うさを、中小企業の実務目線で読み解く。

続きを読む →