LLMが間違える日本語「Bの次に重い」
LLMが間違える日本語解釈についてです。 発端 今朝Xでこのような投稿を見かけました Aの体重は50kg Bの体重は60kg Cの体重は70kg Dの体重は80kg Eの体重は90kg この5人の中で、Cの次に体重が重い人は誰でしょうか？ https://x.com/Sg3Lu/status/2089290875834921453 答えはBです。日本語ネイティブでも間違えると題したこの投稿ですが、「次」という言葉にはちゃんと定義されています。 ２ あるものに続く地位。一段低い地位。また、一段劣ること。「主峰の次に位置する」 https://kotobank.jp/word/次-...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
編集部の実践記録から
AIエージェントは業務を何割まで自力で終わらせられるのか（1,431タスクで58.54%）
現実業務に近い1,431タスクを集めたベンチマーク「OmniaBench」で、最高性能クラスのモデルの1回目成功率は58.54%だった。おおよそ2回に1回は失敗する水準であり、中小企業が受発注や見積をエージェントに丸投げする段階ではない。ただし工程の切り出し方次第で実用域は確かに存在する。
続きを読む →
AIに社内資料を読ませて文書を作らせると、何％が出典の辿れない創作になるのか — 2,629点の来歴監査
公式文書を与えたうえでAIに合意文書を作らせ、生成物1点ずつの出どころを監査した研究があります。原典に直接遡れたのは43.7%、一切遡れない創作が22.1%、仕組み由来のゴミが6.8%。AIに社内資料を読ませて提案書や議事録を作らせる運用に、そのまま効く数字です。
続きを読む →
本物の顔写真を使わずに、顔認証システムの優劣は比較できるのか（合成データ12件×モデル24本の検証）
ルクセンブルク大学らの研究が、AI生成の合成顔データセット12件と実データのベンチマーク7件を、学習済みモデル24本で突き合わせた。上位の合成データは実データとの相関が平均0.90に達する一方、最下位は-0.52まで落ちる。顔写真を集めずにベンダー比較ができる条件と、鵜呑みにしてはいけない境界を整理する。
続きを読む →