映画アバターのビデオログに憧れて、自分専用の「番頭」を作った話
映画『アバター』を覚えていますか。 僕が一番印象に残っているのは、空を飛ぶシーンでも戦闘でもなくて、主人公のジェイクが毎日ビデオで統括を撮り続けているところでした。カメラに向かって、今日あったこと、考えたこと、迷っていることを話す。飾らない、ただの記録。でもあの記録があったから、彼は自分がどこまで来て、何が変わってしまったのかを知ることができた。 あれ、いいなと思ったんです。ずっと。 ビデオで統括を撮って送信したら、AI が整理してくれて、忘れかけている仕事をリマインドしてくれる — そんなものがあったら便利じゃないですか? 探しても、僕の欲しい形のものはなかった。そこで、これを作りまし...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
この話題に関連する、TOEの実践・観測記録
AIエージェントは作業を完了しても、途中の安全ルールを守れているのか（507件の検証で安全遵守率0.16〜0.40）
VLMで動くエージェントを507件の課題で検証した研究では、易しい条件では成功率0.83〜0.94・安全遵守率最大0.91だったのに、物の上下や中身が絡む配置では成功率0.52〜0.73・安全遵守率0.16〜0.40まで落ちました。結果だけ見る検収では足りない理由を、中小企業の実務に置き換えて読み解きます。
続きを読む →
正解データなしでAIの採点基準は作れるか──質問1つから基準を育てて平均精度80.36%
AIの出力が良いか悪いかを判定する採点基準を、人間が正解例を用意せずに質問1つから自動生成する手法が報告されました。平均ペアワイズ判定精度は素朴な生成の73.45%に対して80.36%。中小企業がAIチェッカーを社内に入れる際の「判定基準づくり」の人件費に直結する話として読み解きます。
続きを読む →
AIに観点リストを渡すと精度は上がるのか？合成データで100.0%だったF1が実データで41.7%に落ちた検証
AIに「見るべき観点リスト」を与えると、自作の検証データでは検出率が20.0%から100.0%に跳ね上がりました。ところが同じ設定を実データに当てると、F1は41.7%まで落ち、観点リストなしの素のAI（61.5%）を下回りました。手元のテストで満点だから本番でも大丈夫、という判断がなぜ危険なのかを、論文の実測値で確認します。
続きを読む →