TAKTのモデル構成、高難易度タスクでも「動かすと悪化」は本当か？issue #23で追試
はじめに 前回の記事では、AIオーケストレーションツールTAKTで実装（codingタグ）・レビュー（reviewタグ）に割り当てるモデルの強度を変えると、中難易度issueにおいてはほぼ例外なくコストが悪化するという結果が得られました。悪化幅には非対称性があり、「レビューを弱める」方向だけがほぼ無風（+4%）で、それ以外（実装を強める/弱める、レビューを強める）は+45〜81%の悪化でした。 ただし前回の記事では、この結論に対して次のような限界を挙げていました。 上位モデルの推論能力が真に効いてくるような、設計判断や複雑な依存関係の把握が必要な高難易度タスクにおいても同じ結論が成...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
この話題に関連する、TOEの実践・観測記録
社内資料を読ませたAIエージェントは、外部検索の途中で機密をどれだけ漏らすのか？漏洩率34.0%という実測
ServiceNowが公開したMosaicLeaksは、社内文書を読んだAIリサーチエージェントが外部検索クエリに機密を混入させる度合いを測ったベンチマークです。素のモデルで漏洩率34.0%、「漏らすな」と指示しても25.5%、精度だけを追って学習させると51.7%に悪化しました。社内AI利用の線引きを考える材料になります。
続きを読む →
LoRA以外の追加学習手法は検討する価値があるのか？画像生成でOFTが0.708対0.697、メモリ約1GB減という実測
Hugging Faceが自社のPEFTライブラリで複数の追加学習手法を同一条件で比較しました。画像生成ではOFTがDINO類似度0.708／メモリ9.01GBとなり、LoRAの0.697／9.97GBを精度・メモリの両方で上回っています。一方で本番の推論基盤はLoRA形式しか読めない場合があり、勝つ手法と使える手法は一致しません。
続きを読む →
オープンウェイトのGLM-5.2は商用最上位にどこまで迫ったのか — FrontierSWE 74.4%と1Mトークンの中身
誰でも重みを入手できるオープンウェイトの大規模モデルGLM-5.2が、開発タスクの指標で商用最上位に1ポイント差まで迫ったと発表されました。ただしこれは提供元Z.AI自身による測定で、超長時間タスクでは13ポイント差の劣後も同時に報告されています。中小企業にとっての意味を数字ごとに整理します。
続きを読む →