コーディング評価ベンチマーク『SWE-Bench Pro』に問題、信頼性に懸念
OpenAIの新たな分析により、人気のコーディングベンチマークであるSWE-Bench Proの問題が明らかになり、AIモデル評価における信頼性と正確性への懸念が浮上している。
出典: OpenAI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 OpenAIで元記事を読む →
この話題に関連する、TOEの実践・観測記録
AI検索観測所
llms.txt を主要25サイトで探したら、5サイトにしかありませんでした
AI向けの案内ファイル「llms.txt」を、日本と海外の主要25サイトで実際に探しました。あったのは5サイト。日本の大手メディアはゼロで、入れていたのは海外のテック企業でした。
続きを読む →
AI実践室
APIがない管理画面は自動化を諦めるしかないのか — noteの記事公開とメール追加を「ブラウザごと」無人化した実例
APIが用意されていない管理画面は自動化できない、と思われがちです。弊社ではnoteの記事公開とレンタルサーバーのメールアドレス追加を、ブラウザを自動操作するツールで無人化しています。実際のスクリプトを開いて、仕組みと、正直な制約を書きました。
続きを読む →
AI検索観測所
主要25サイトのrobots.txtで、AIクローラは拒否されているか許可されているか
ChatGPTやClaudeなどのAIが記事を読みに来るクローラを、主要サイトは許可しているのか拒否しているのか。25サイトのrobots.txtを実際に取得して数えました。拒否していたのは主に新聞社でした。
続きを読む →
御社でもAIを使ってみませんか
まずはここから
御社でもAIを使ってみませんか？
御社の実際の業務を題材に、AIで何ができるかを一緒に考えます。
「ChatGPTの使い方」を教えるだけの研修ではありません。
AI研修・AI活用相談 →