永続メモリ層、結局どう実装するか — 索引スキーマと判定基準を全部書く
これは16媒体に自動配信するコンテンツ基盤の全体アーキテクチャの深掘りシリーズの1本です。前回は「索引+詳細ファイルに分けた永続知識層」という設計思想を書きました。今回はその続きとして、実際にどんなファイル形式で、どんな判定基準で運用しているかを、抽象化せずに書き下します。 前回の記事は「考え方」でした。今回は「実装」です。 詳細ファイルのフォーマット: 4フィールドで固定する 詳細ファイル1件は、必ず次の4フィールドを持つ小さなテキストファイルにしています。 --- name: {ファイル名と対応するスラグ} description: {何についてのファイルか。索引に出す1行サマリ...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
この話題に関連する、TOEの実践・観測記録
帳票読み取りAIに「考えさせる」のは必要か？推論なしが0.411、推論ありが0.303だった検証
請求書や財務書類をAIに読ませるとき、推論（思考）ステップは本当に要るのか。4Bの小型モデルを追加学習した論文では、推論なしのF1が0.411、推論ありが0.303と逆転した。自社ドメイン内では汎用クラウドAIも上回る一方、未知の様式では負ける。中小企業の帳票業務にとって何を意味するかを整理する。
続きを読む →
AIエージェントは作業を完了しても、途中の安全ルールを守れているのか（507件の検証で安全遵守率0.16〜0.40）
VLMで動くエージェントを507件の課題で検証した研究では、易しい条件では成功率0.83〜0.94・安全遵守率最大0.91だったのに、物の上下や中身が絡む配置では成功率0.52〜0.73・安全遵守率0.16〜0.40まで落ちました。結果だけ見る検収では足りない理由を、中小企業の実務に置き換えて読み解きます。
続きを読む →
正解データなしでAIの採点基準は作れるか──質問1つから基準を育てて平均精度80.36%
AIの出力が良いか悪いかを判定する採点基準を、人間が正解例を用意せずに質問1つから自動生成する手法が報告されました。平均ペアワイズ判定精度は素朴な生成の73.45%に対して80.36%。中小企業がAIチェッカーを社内に入れる際の「判定基準づくり」の人件費に直結する話として読み解きます。
続きを読む →