MarkdownをAIの記憶にする――まず1つのLOG.mdから始める
AIと長く仕事をすると、記録の問題にぶつかります。 そこで私は一度、現在地、未解決の問い、日々のログを別々のファイルに分けた、きれいな記録システムを作りました。 数日で使わなくなりました。 新しい気づきが出るたびに「これはどこへ書くのか」と迷い、判断が変わるたびに複数のファイルを直す必要があったからです。整理のための設計が、記録を止める原因になっていました。 この経験から、AIの外部記憶は最初から完成形を作らないほうがよいと考えるようになりました。 まずは、1つの LOG.md から始めます。必要になったときだけ役割を分けます。 AIの記憶は「全部保存すること」ではない チャット履歴...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
この話題に関連する、TOEの実践・観測記録
AIの評価軸を「正答率」から「越えてはいけない線」に変えられるか——医療AI検査ベンチマーク100件の設計
臨床医1名が作った医療AI安全性ベンチマーク「MedFailBench」は、合成症例100件を6種類の失敗ゲートと5段階の重大度で分類した。正解率ではなく「どの安全境界が破られたか」で測る設計思想は、中小企業の社内AI評価表にそのまま応用できる。ただし実験規模は極端に小さく、論文自身が限界を並べている。
続きを読む →
検索精度スコアは、AIエージェントの正解率を予測できるのか（相関ρ=-0.0257）
複数ステップで自律検索するAIエージェントを対象に、従来の検索有用性スコアと、実際に正解へ効いた度合いの相関を測った研究。23,322件の文書観測で相関はρ=-0.0257とほぼ無相関、単体では答えを含まないのに削除すると結果が変わる「橋渡し文書」が35.72%を占めた。社内文書検索の評価の見方に直結する話です。
続きを読む →
ディープフェイク検出AIは、中身を知らない攻撃者にどこまですり抜けられるのか（攻撃成功率0.443）
通常時は96.62〜98.73%の精度で判定するディープフェイク検出AIが、モデルの中身を一切知らないブラックボックス攻撃で最大0.443の確率ですり抜けられた、という研究が公開されました。中小企業にとっての結論は「検出AIを本人確認の最終判断に使わない」の一点です。数字の範囲と、研究自身が認めた限界まで含めて読み解きます。
続きを読む →