Amazon Bedrock Agent Evaluations を試してみた
1. はじめに Web API のテストなら、リクエストを投げてレスポンスを assert すれば済みます。エージェントではこれができません。同じことを聞いても返ってくる文章は毎回違いますし、呼ばれるツールすら変わることがあります。 かといって目視で確認し続けるのも現実的ではありません。プロンプトを 1 行変えるたびに 20 パターン手で叩いて読む、という運用は長くは続きません。結果、「まあ良くなった気がする」で本番に出すことになり、壊れたことに気づくのはユーザーから報告が来たときです。 Amazon Bedrock AgentCore Evaluations は、この「assert...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
編集部の実践記録から
AIが書いた文章の嘘の見つけ方 — 24本中23本が実在しない出典だった実測と、検証ツールが「0件」と報告し続けた理由
AIの誤りは誤字ではないので、読んだだけでは見抜けません。株式会社TOEは出典を確かめずに記事を作り、24本中23本が実在しない論文でした。さらに、それを防ぐために作った検証ツールが「実在しないもの0件」と報告し続け、実は確認できていたのは45件だけでした。検証を仕組みにするときの落とし穴を3つ挙げます。
続きを読む →
AI処理414件を失敗させた話 — モデルを指定しなかっただけで、75%が落ちた
自社メディアの記事要約を一括処理したところ、553件のうち414件が失敗しました。原因は「使うAIモデルを指定しなかった」こと。何が起き、どう仕組みに落としたかを、実際のコードとログで公開します。
続きを読む →
note投稿はどこまで自動化できるか — 品質チェックのコードと、「公開ボタン」の行方
弊社ではnote記事の投稿作業を半自動化しています。変換・品質チェック・画像生成・入稿は機械に任せ、判断は人に残す設計でした。ところが実物のスクリプトと運用メモを開いて確認すると、「人に残す」と決めたはずの公開ボタンまで自動化が進んでいました。線引きの現在地を、コードに書いてあることだけで正直に書きます。
続きを読む →