次に書く記事、こんな順番で出していこうと思ってます
ここまで書いたもの 4章（インジェスト）と5章（RAG応答）を無料で公開しました。 Bedrockに文書を渡してベクトルにして、質問に答えさせるところまでは、ひととおり書き終えた形になります。 でも、読み返してみると自分でも引っかかっているところがあります。 この仕組み、精度は本当に大丈夫なのか。 動くものはできたけれど、どれくらい当たるのかはまた別の話ですよね。 次に書こうと思っているのは、だいたいこの引っかかりから伸びていく話です。 次に書くつもりの記事 # 記事 内容 要件 ゴール 1 フォーマットで精度がどう変わるかを確かめる話 簡易な検証ツールを作って、...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
この話題に関連する、TOEの実践・観測記録
AIの判定スコアを揺らすだけで攻撃は防げるのか — 成功率100%が43〜59%に下がった実験
社外に公開したAI判定APIは、1万回の問い合わせで判定をすり抜ける入力を作られます。2026年7月公開の研究は、返す信頼度スコアをランダムに歪めるだけで攻撃成功率が100%から43〜59%に下がり、分類精度は0%低下だったと報告しました。ただしゼロにはなりません。
続きを読む →
AIエージェントは業務を何割まで自力で終わらせられるのか（1,431タスクで58.54%）
現実業務に近い1,431タスクを集めたベンチマーク「OmniaBench」で、最高性能クラスのモデルの1回目成功率は58.54%だった。おおよそ2回に1回は失敗する水準であり、中小企業が受発注や見積をエージェントに丸投げする段階ではない。ただし工程の切り出し方次第で実用域は確かに存在する。
続きを読む →
AIに社内資料を読ませて文書を作らせると、何％が出典の辿れない創作になるのか — 2,629点の来歴監査
公式文書を与えたうえでAIに合意文書を作らせ、生成物1点ずつの出どころを監査した研究があります。原典に直接遡れたのは43.7%、一切遡れない創作が22.1%、仕組み由来のゴミが6.8%。AIに社内資料を読ませて提案書や議事録を作らせる運用に、そのまま効く数字です。
続きを読む →