AIの鬼
#新モデル Zenn AI

LLM プロバイダを抽象化したら、効いたのは「乗り換えの自由」じゃなかった

LLM プロバイダを抽象化したら、効いたのは「乗り換えの自由」じゃなかった(内容を表す図ではないイメージ画像)
イメージ

結論 / TL;DR 複数の LLM プロバイダを 1 つのインタフェースで束ねる薄い層を入れました。動機は「ベンダーロックインの回避」でしたが、実際に効いたのは別の 2 つでした。 可用性: プロバイダ側が 5xx を返しても、別プロバイダに落として機能ごと止めない コスト: 「どの機能にどのモデルを使うか」を設定で切り替えられる そして、やってみて分かった一番大事な設計指針は 「抽象化を厚くしない」 ことです。全プロバイダの最大公約数に揃えると各社の強みが死にます。正規化するのは 5 項目だけ、残りは素通しの脱出ハッチを開けておく。この形に落ち着きました。 背景・何に...

出典: Zenn AI(配信元の紹介文より引用)
御社でもAIを使ってみませんか
まずはここから 御社でもAIを使ってみませんか? 御社の実際の業務を題材に、AIで何ができるかを一緒に考えます。 「ChatGPTの使い方」を教えるだけの研修ではありません。 AI研修・AI活用相談 →