そのdenyルール、効いていません——settings.json堅牢化チートシート
結論から Claude Codeの settings.json には、書けてしまうのに一切適用されないルール形式があります。公開されている設定149件を走査した調査では、16%の設定に「死んだルール」が含まれていた——.ssh や .aws を守っているつもりのdenyが、実際には何も守っていなかったそうです（出典）。 私も自環境を監査しました。deny 153ルール中、26件が死んだ形式でした。幸い全件に有効な形式の同項ルールが併記されていて実害ゼロでしたが、「たまたま無事だった」だけです。 この記事は、(1) 効かない設定の見分け方、(2) 自環境を30秒で監査するスクリプト、(...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
編集部の実践記録から
AIエージェントは設備の現場業務をどこまで任せられるのか？最良モデルでも計画68.2%・実行72.4%、複数連携では47%
IBM Researchが公開したAssetOpsBenchは、産業設備の運用業務をAIエージェントに解かせるベンチマークです。最良のGPT-4.1でも計画68.2%・実行72.4%にとどまり、実運用可否の基準である85点に到達したモデルはゼロ。複数エージェントを連携させると47%まで落ちました。中小企業が自動化の範囲を決める材料になります。
続きを読む →
公開ベンチマークのスコアはそのまま比較に使えるのか？同じLLaMA 65BのMMLUが63.7と48.8に割れている
Hugging FaceとEvalEval Coalitionが、22,000超のモデル・2,200のベンチマークにまたがる229,000件の評価結果を1か所に集約しました。そこで露わになったのは、同一モデル・同一ベンチマークでもスコアが63.7と48.8に食い違うという事実です。ベンダー提示の点数をどう扱うべきかを整理します。
続きを読む →
リリース間隔が4〜6週から毎週へ短縮した事例で、AIエージェントにどこまで任せてどこに人を残すべきか？
Hugging Faceが自社ライブラリのリリース作業をAIで自動化し、4〜6週に1回だったリリースを毎週1回に、人手のレビューを数時間から約15分に短縮したと公表しました。1回あたりのAI利用コストは約0.25ドル。自社サービスの利用事例という利害関係も含めて、中小企業が持ち帰れる設計思想を整理します。
続きを読む →