AI時代のA/Bテスト：広告クリエイティブを高速改善するための実践ガイド🎯
AI時代のA/Bテスト：広告クリエイティブを高速改善するための実践ガイド 広告のA/Bテストって、「やったほうがいいのはわかってる。でも、バリエーションを作るのが面倒すぎる」という状態になりがちじゃないですか。 私もそうでした。動画広告のクリエイティブを複数パターン用意しようとすると、撮影・編集・ナレーション録り直し……と工数が爆発する。結果、「とりあえず1パターンでいいか」と妥協して、改善の機会を丸ごと捨てていた。 でも最近、AI動画広告生成ツールを使い始めてから、このループが完全に変わりました。今回は、その実体験をもとに「AIを使ったクリエイティブテストの考え方と実践」をまと...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
この話題に関連する、TOEの実践・観測記録
大きいモデルなら自社の言葉も通じるのか？1,173問・54モデルで正答率が25.66%〜82.18%に開いた検証
UAEのTechnology Innovation Instituteが、エミラティ方言を扱う1,173問のベンチマーク「Alyah」で54モデルを評価しました。同じ問題セットで正答率は25.66%から82.18%まで開き、4択の偶然正解25%と区別できないモデルもありました。自社の言葉づかいで測る必要性を示す実例です。
続きを読む →
AIエージェントは設備の現場業務をどこまで任せられるのか？最良モデルでも計画68.2%・実行72.4%、複数連携では47%
IBM Researchが公開したAssetOpsBenchは、産業設備の運用業務をAIエージェントに解かせるベンチマークです。最良のGPT-4.1でも計画68.2%・実行72.4%にとどまり、実運用可否の基準である85点に到達したモデルはゼロ。複数エージェントを連携させると47%まで落ちました。中小企業が自動化の範囲を決める材料になります。
続きを読む →
公開ベンチマークのスコアはそのまま比較に使えるのか？同じLLaMA 65BのMMLUが63.7と48.8に割れている
Hugging FaceとEvalEval Coalitionが、22,000超のモデル・2,200のベンチマークにまたがる229,000件の評価結果を1か所に集約しました。そこで露わになったのは、同一モデル・同一ベンチマークでもスコアが63.7と48.8に食い違うという事実です。ベンダー提示の点数をどう扱うべきかを整理します。
続きを読む →