Model soups 論文解説：Transformer 時代の重み平均
1. はじめに 大規模な事前学習済みモデルを下流タスクへ適応する際には、学習率、weight decay、データ拡張、学習回数などを変えながら複数のモデルを fine-tuning し、検証性能が最も高い 1 モデルを採用するのが一般的である。この手順では、選ばれなかったモデルは以後利用されない。しかし、それらも異なるハイパーパラメータのもとで学習された有効な解であり、互いに異なる予測特性を持っている可能性がある。 複数モデルの情報を利用する代表的な方法がアンサンブルである。各モデルの "予測" を平均することで、単体モデルより高い精度や頑健性を得られることが多い。一方、k 個のモデ...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
この話題に関連する、TOEの実践・観測記録
環境が変わるとAIの精度は33.26%まで落ちるのか — 医療画像研究が示す「持ち込んだ途端に壊れる」現象
学習した環境と違う条件にAIを持ち込むと精度は崩れます。2026年7月公開の医療画像研究では、造影CTで学習した手法を非造影CTに当てただけで精度が33.26%まで低下しました。デモでは高精度だったAIが自社では動かない、という現象の正体と、稟議での評価のさせ方を整理します。
続きを読む →
パラメータ2.8Mで48GB GPU級の予測精度は出せるのか──時系列知識グラフ研究GAttNHPが示した数字
「次に何が、いつ起こるか」を予測する新手法GAttNHPが、パラメータ2.8M・GPUメモリ2.54GBという構成で、88M〜107Mパラメータ・GPU 48GBを要する従来最良手法をMRRで8.25ポイント上回りました。低頻度データほど改善が大きいという結果を、中小企業の予測案件にどう読み替えるかを整理します。
続きを読む →
小型AIに推論力を教え込めるか — 100ステップの追加学習で数学スコアが45.8→70.3になった実験
自社で動かせる小型モデルに「考える力」を後から足せるのか。2026年7月公開の研究は、教師モデルの出力をそのまま真似させるのではなく、教師とその土台モデルの差分だけを学ばせる方法を14ベンチマークで実測しました。伸びた数字と、伸びなかった条件を整理します。
続きを読む →