問い合わせ文の要約や下書きの生成を、Webアプリに生成AI(LLM:大規模言語モデル)の機能として載せる場合があります。
LLMのAPIは、通常のAPIと同じようにHTTPで呼び出せるため、動くものは短時間で作れます。
一方で、応答が遅い、呼び出し回数に応じて料金がかかる、キーが漏れると他人に使われる、といった性質があり、そのまま本番に出すと運用で困ります。
この記事では、LLMのAPIを組み込むときに最初に決めておきたい、認証・タイムアウト・料金の3点を整理します。
通常のAPIと違う点
LLMのAPIは、外部の決済APIや地図APIと同じ「外部サービスの呼び出し」です。
ただし、次の3点が異なります(応答時間は一般的な目安です)。
| 観点 | 通常のAPI | LLMのAPI |
|---|---|---|
| 応答時間 | 数十〜数百ミリ秒が多い | 数秒〜数十秒かかることがある |
| 料金 | 月額固定や、リクエスト数での課金が多い | 入力と出力の量(トークン)に応じた従量課金が一般的 |
| 結果 | 同じ入力なら同じ結果 | 毎回、結果が変わりうる |
トークンとは、モデルが文章を処理する単位です。
料金の体系は提供元ごとに異なるため、実際の単価と上限は、利用する提供元の公式ドキュメントで確認してください。
この記事では、提供元に共通する考え方だけを扱います。
APIキーを守る認証
LLMのAPIは、APIキーで利用者を識別します。
キーが漏れると、第三者が自社の料金で呼び出せてしまいます。
守る原則は、次の3つです。
- キーはサーバー側だけで持ち、ブラウザのJavaScriptやモバイルアプリには埋め込まない。
- キーはソースコードに書かず、環境変数やシークレット管理の仕組みから読み込む。
- 用途や環境ごとにキーを分け、漏えいが疑われたときに、そのキーだけを無効化できるようにする。
ブラウザから直接LLMのAPIを呼ぶと、キーが画面の通信から見えてしまいます。
そのため、ブラウザは自社のサーバーを呼び、自社のサーバーがLLMのAPIを呼ぶ構成にします。
この構成なら、自社側で利用者の認証や回数の制限も、同時にかけられます。
import os
import httpx
from fastapi import FastAPI, Depends, HTTPException
app = FastAPI()
LLM_API_URL = os.environ["LLM_API_URL"]
LLM_API_KEY = os.environ["LLM_API_KEY"] # コードに直接書かない
async def current_user() -> str:
... # 自社のログイン確認。未ログインなら 401 を返す
@app.post("/summarize")
async def summarize(body: dict, user: str = Depends(current_user)):
... # ここで LLM を呼ぶ(次の節を参照)
summarize の中では、次の節の call_llm を呼びます。
ヘッダーの名前や認証方式は提供元ごとに異なります。
公式ドキュメントの指定どおりに設定してください。
タイムアウトとリトライ
タイムアウトの決め方
Pythonのrequestsのように、既定ではタイムアウトが設定されないクライアントもあります。
httpxには既定のタイムアウト(5秒)がありますが、LLMの応答を待つには短すぎることがあります。
LLMの応答は遅くなりやすいため、待ち時間を決めずにおくと、待機中の処理が積み上がり、アプリ全体が応答しなくなります。
次の2種類を分けて考えます。
- 接続のタイムアウト:相手につながるまでの時間(数秒で十分)。
- 応答のタイムアウト:応答を待つ時間(生成する文章の長さに合わせて、十数秒〜数十秒など、機能ごとに決める)。
ブラウザ側のJavaScriptで待つ場合も、AbortSignal.timeout() で待ち時間を制限できます。
画面の側が先に諦めても、サーバー側の処理は続いて料金がかかるため、サーバー側のタイムアウトも別に設定します。
リトライは条件を絞る
失敗のたびに再試行すると、状況が悪化します。
再試行してよいのは、一時的な失敗に限ります。
| 状況 | 再試行 |
|---|---|
| 429(Too Many Requests、回数の上限) | する。Retry-After ヘッダーがあれば、その秒数だけ待つ |
| 5xx(相手側の一時的な障害) | する。回数を制限する |
| タイムアウト | 内容によって判断する。提供元によっては、生成の途中で打ち切られた分も料金がかかりうる |
| 400番台(429を除く。401や403など) | しない。キーや入力の誤りは、待っても直らない |
待ち時間は、1秒、2秒、4秒のように倍々に伸ばし、少しランダムなずれを加えます。
全員が同じ時刻に再試行して、再び上限に当たることを防ぐためです。
回数は2〜3回までにし、Retry-After の値にも上限を設けて、利用者を待たせ続けないようにします。
import asyncio
import random
TIMEOUT = httpx.Timeout(connect=3.0, read=30.0, write=10.0, pool=5.0)
RETRY_STATUS = (429, 500, 502, 503, 504) # 再試行の対象は例。提供元の案内に合わせる
async def call_llm(payload: dict, max_retries: int = 2) -> dict:
async with httpx.AsyncClient(timeout=TIMEOUT) as client:
for attempt in range(max_retries + 1):
try:
resp = await client.post(
LLM_API_URL,
json=payload,
headers={"Authorization": f"Bearer {LLM_API_KEY}"}, # 形式は提供元に従う
)
except httpx.TimeoutException:
resp = None # 長い生成で打ち切られた場合は、再試行しない判断もある
if resp is not None and resp.status_code < 400:
return resp.json()
retryable = resp is None or resp.status_code in RETRY_STATUS
if not retryable or attempt == max_retries:
raise HTTPException(status_code=502, detail="生成に失敗しました")
wait = 2 ** attempt + random.random()
if resp is not None and "Retry-After" in resp.headers:
try:
wait = min(float(resp.headers["Retry-After"]), 10.0) # 待ち時間にも上限を設ける
except ValueError:
pass # 日付形式の場合は、既定の待ち時間を使う
await asyncio.sleep(wait)
失敗したときに利用者へ返す文面には、提供元のエラー内容をそのまま載せません。
内部の情報が漏れるうえ、利用者にも意味が伝わらないためです。
料金の上限を先に決める
従量課金では、想定外の使われ方がそのまま請求に反映されます。
料金は、運用が始まってから見るのではなく、設計の段階で上限を決めます。
見積もりの考え方
1回あたりの費用は、入力のトークン数と出力のトークン数に、それぞれの単価を掛けて足したものです。
1回の費用 = 入力トークン数 × 入力単価 + 出力トークン数 × 出力単価
月の費用は、これに1日の想定回数と日数を掛けて見積もります。
入力には、利用者の文章だけでなく、指示文や過去のやり取りも含まれます。
会話の履歴を毎回すべて送る設計では、やり取りが長くなるほど入力が増える点に注意が必要です。
使いすぎを防ぐ仕組み
上限は、1か所ではなく、出力・入力・回数・金額の段階ごとにかけます。
- 出力の最大トークン数を、機能ごとに設定する。
- 入力の長さに上限を設け、超えたら受け付けない、または切り詰める。
- 利用者ごと、1日ごとの回数に上限をかける。
- 提供元の管理画面で、月の利用額の上限や通知を設定する。
- リクエストごとに、使ったトークン数をログに残す(入力文そのものは、個人情報を含みうるので記録しない)。
特に、ログインなしで使える機能は、誰でも呼べるため、回数の制限が欠かせません。
自動化されたアクセスで、短時間に大量の呼び出しが発生する場合もあります。
運用で気を付けたいポイント
本番で動かし始めてから困りやすいのは、モデルの入れ替えと、提供元の障害です。
モデルの名前は、提供元が新しいモデルへ入れ替えることがあるため、コードに直接書かず、設定ファイルや環境変数に切り出します。
提供元に障害が起きても、ほかの機能は動き続けるようにします。
多くの場合、LLMを使う部分だけ「生成できませんでした」と表示できれば十分です。
このほか、次の3点も確認します。
- 生成結果は、そのまま画面に出す前に、利用の目的に合わせて確認する。
- HTMLとして出力する場合は、XSS(クロスサイトスクリプティング)の対策としてエスケープする。
- 利用者の入力を外部に送ることを、プライバシーポリシーや利用規約で説明し、送る情報の範囲は必要最小限にする。
まとめ
LLMのAPIを組み込むときは、次の3点を、実装の最初に決めます。
- 認証:キーはサーバー側だけで持ち、環境変数などから読み込み、ブラウザからは自社のサーバーを経由して呼ぶ。
- タイムアウトとリトライ:待ち時間に上限を設け、再試行は429と一時的な5xxを中心に回数を絞って行い、タイムアウトは生成の内容を見て再試行するか判断する。
- 料金:1回あたりの費用を見積もり、出力の長さ、入力の長さ、利用回数、月の利用額のそれぞれに上限をかける。
どれも、機能が動いた後に足すより、最初から入れておくほうが手戻りが少なくなります。
具体的な単価や制限値は変わりやすいため、実装の前に、利用する提供元の公式ドキュメントで確認してください。