AI Tools
チュートリアル13 分2026年5月5日執筆:AIGCDev更新日: 2026年5月6日

低レイテンシ Voice AI アプリの作り方(2026):まず WebRTC、制御が必要になったら chained audio stack

まず結論

2026年にブラウザベースの Voice AI アプリを作るなら、デフォルトの出発点は多くのチームが思うよりシンプルだ。

  1. ライブ会話ループは OpenAI Voice agents over WebRTC から始める。
  2. 標準 API key はサーバーに置き、サーバー側で session を作るか一時 client secret を発行する。
  3. 永続的なテキスト記録、speaker label、下流 automation が必要なときだけ、独立した transcription stage を追加する。
  4. 音質、voice cloning、出力形式の制御が product outcome を変えるときだけ、ElevenLabs のような TTS layer を追加する。

これは OpenAI が 2026-05-04 に公開した low-latency voice AI at scale の engineering post、現在の Voice agents、Realtime WebRTC docs を合わせて読むと見える実用的な結論だ。その engineering post は OpenAI 内部の relay と transceiver design の話だが、プロダクト側の takeaway はもっと基本的だ。1:1 のライブ音声プロダクトなら、まず direct realtime path から始める。中間テキストを制御する理由がすでに明確でない限り、speech-to-text -> text model -> text-to-speech の三段構成から始めない方がいい。

このチュートリアルが向くチーム

このガイドは次のようなものを作るチームに向いている。

  • ブラウザベースの support / sales voice assistant
  • AI tutor、interview coach、practice partner
  • interrupt と turn-taking が重要な voice-enabled internal tool
  • 速い spoken reply が必要な mobile / web app

batch transcription、meeting archive、async media workflow にはあまり向かない。それらは多くの場合、audio が付いた text-first system だからだ。

Live Audio と Chained Pipeline の選び方

OpenAI の現在の Voice agents docs は、問題を 2 つの有効な設計に分けている。

Architecture Best for 得られるもの 失うもの
Speech-to-speech live session live browser / app conversation friction の少ない対話、native interruption、少ない moving parts 各 intermediate text step への明示的制御は少ない
Chained audio pipeline support workflow、approval、transcript-heavy system、既存 text agents durable transcript、deterministic routing、policy checkpoint を置きやすい latency、orchestration、failure point が増える

よくある間違いは、chained stack をデフォルトで「本格的な」architecture と見なすことだ。多くのプロダクトでは、それは単に遅い architecture になる。

実用的な routing rule は次の通りだ。

  • ユーザーが model と直接話すなら Realtime + WebRTC
  • turn の間で text を inspect、store、approve、transform、branch する必要があるなら transcription + text workflow + TTS

短く言えば、product promise が「自然に感じる」なら live audio から始める。product promise が「手順を守る」なら text control から始める。

OpenAI の 2026-05-04 WebRTC Update

ニュースとしてのきっかけは本物だが、この文章はニュースの書き換えではない。

2026-05-04、OpenAI は大規模な低レイテンシ音声のために WebRTC stack を再構築した方法を説明する engineering post を公開した。その記事は、OpenAI の外側のプロダクトにも関係する 3 つの production concern を説明している。

  • connection setup speed
  • low and stable media round-trip time
  • first-hop routing を user に近づけること

これらの infra detail は、低レイテンシ音声が prompt problem である前に architecture decision であることを示している。

Stage を増やす前に Latency を測る

transcription、routing、second TTS provider を追加する前に、まず 1 回測定する。そうしないと、追加 stage が product を改善したのか、ただ architecture diagram を安心そうに見せただけなのか分からない。

ユーザーが実際に使うネットワークで、同じ test script を少なくとも 20 call 実行する。

Signal 測る場所 なぜ重要か
session setup time session.connect() または pc.createOffer() の前から、connection ready まで session creation の遅さと first-hop routing 問題を見つける
time to first assistant audio user turn committed -> first remote audio frame または playing event 「反応が速い」と感じるかに最も近い product proxy
media RTT、jitter、packet loss WebRTC path の RTCPeerConnection.getStats() model delay と network quality を分ける
barge-in repair user interruption -> assistant output が cancel / repair されるまで 実際の発話で turn-taking が機能するかを見る
fallback rate text または async follow-up に切り替わった session 数 live audio が workflow に十分信頼できるかを見る

Voice agents path では、まず setup time、first assistant audio、interruption repair、fallback rate を記録する。それだけで問題を debug できない場合は、raw WebRTC path の test build に降りて WebRTC stats を直接 sampling する。

const startedAt = performance.now();
await pc.setRemoteDescription(answer);
console.log("webrtc_setup_ms", performance.now() - startedAt);

setInterval(async () => {
  const stats = await pc.getStats();

  for (const report of stats.values()) {
    if (report.type === "candidate-pair" && report.state === "succeeded") {
      console.log("current_rtt_s", report.currentRoundTripTime);
    }

    if (report.type === "inbound-rtp" && report.kind === "audio") {
      console.log("audio_jitter_s", report.jitter);
      console.log("packets_lost", report.packetsLost);
    }
  }
}, 5000);

architecture を変える前に、自分たちの pass/fail threshold を書き出す。managed office Wi-Fi 上の support bot と、公共交通機関で使われる mobile tutor は同じ latency budget にしない方がいい。

最速で安全な出発点

Step 1: 狭い live use case を 1 つ選ぶ

general-purpose な「voice agent platform」から始めない。

成功条件がはっきりした conversation shape を 1 つ選ぶ。たとえば:

  • 固定 knowledge base から product question に答える
  • human handoff の前に intake detail を集める
  • mock interview question と spoken feedback を行う
  • app 内の 1 workflow を案内する

良い spoken answer が何かを 1 paragraph で定義できないなら、まだ audio stack の問題ではない。

Step 2: Voice agents から始め、制御が必要になったら raw WebRTC へ降りる

OpenAI の現在の docs は、browser recommendation を 2 層に分けている。

  • browser-based speech-to-speech app では Voice agents が最速の supported starting point
  • transport や session をより低レイヤーで制御したい場合は raw Realtime + WebRTC path を使う

この 2 つは分けて考えるべきだ。「Start with WebRTC」は architecture choice であって、必ずしも最初から RTCPeerConnection を手書きするという意味ではない。

最も高レイヤーの browser path は SDK path として独立している。最小の npm app なら、Agents SDK を入れ、client secret を発行する小さな backend endpoint を用意する。

npm install @openai/agents express
// server
import express from "express";

const app = express();

app.post("/realtime-client-secret", async (_req, res) => {
  const response = await fetch("https://api.openai.com/v1/realtime/client_secrets", {
    method: "POST",
    headers: {
      Authorization: `Bearer ${process.env.OPENAI_API_KEY}`,
      "Content-Type": "application/json",
    },
    body: JSON.stringify({
      session: {
        type: "realtime",
        model: "gpt-realtime-1.5",
        audio: { output: { voice: "marin" } },
      },
    }),
  });

  if (!response.ok) {
    res.status(response.status).send(await response.text());
    return;
  }

  res.json(await response.json());
});

app.listen(3000);

browser は RealtimeSession で接続する。

import { RealtimeAgent, RealtimeSession } from "@openai/agents/realtime";

const agent = new RealtimeAgent({
  name: "Assistant",
  instructions: "You are a helpful voice assistant.",
});

const session = new RealtimeSession(agent, {
  model: "gpt-realtime-1.5",
});

const tokenResponse = await fetch("/realtime-client-secret", {
  method: "POST",
});
const { value: ephemeralKey } = await tokenResponse.json();

await session.connect({
  apiKey: ephemeralKey,
});

期待する結果は、browser が microphone permission を求め、session.connect() が resolve し、remote audio output が返答でき、標準 OpenAI API key が browser code に現れないことだ。

より低レイヤーの route が必要な場合、OpenAI の現在の Realtime WebRTC docs は client-side realtime connection に WebRTC を推奨しており、WebSockets より consistent performance を狙いやすい。docs は 2 つの server-assisted pattern も示している。

  • server が SDP を https://api.openai.com/v1/realtime/calls に POST して session を作る
  • または https://api.openai.com/v1/realtime/client_secrets から ephemeral client secret を発行する

どちらでも standard API key は backend に置く。下の /session route を RealtimeSession と混ぜないこと。次の例は、RTCPeerConnection を直接扱いたい場合の raw WebRTC unified-interface path だ。

最小の browser flow は次のようになる。

// browser client
const pc = new RTCPeerConnection();
const remoteAudio = document.createElement("audio");
remoteAudio.autoplay = true;

pc.ontrack = (event) => {
  remoteAudio.srcObject = event.streams[0];
};

const mic = await navigator.mediaDevices.getUserMedia({ audio: true });
pc.addTrack(mic.getTracks()[0]);

const events = pc.createDataChannel("oai-events");
const offer = await pc.createOffer();
await pc.setLocalDescription(offer);

const sdpResponse = await fetch("/session", {
  method: "POST",
  body: offer.sdp,
  headers: { "Content-Type": "application/sdp" },
});

await pc.setRemoteDescription({
  type: "answer",
  sdp: await sdpResponse.text(),
});

server 側も狭く保つ。

import express from "express";

const app = express();
app.use(express.text({ type: ["application/sdp", "text/plain"] }));

const sessionConfig = JSON.stringify({
  type: "realtime",
  model: "gpt-realtime",
  audio: { output: { voice: "marin" } },
});

app.post("/session", async (req, res) => {
  const form = new FormData();
  form.set("sdp", req.body);
  form.set("session", sessionConfig);

  const response = await fetch("https://api.openai.com/v1/realtime/calls", {
    method: "POST",
    headers: {
      Authorization: `Bearer ${process.env.OPENAI_API_KEY}`,
    },
    body: form,
  });

  res.send(await response.text());
});

これだけで、自分の product が live voice を本当に必要としているか検証できる。

Step 3: text が business logic に必要なときだけ transcripts を追加する

transcript stage は、次のどれかが必要なときに追加する。

  • 検索可能な call log
  • review 用の speaker-aware record
  • call 後の CRM / ticket update
  • live session 外の moderation / approval logic
  • user が何を聞き、flow がどこで失敗したかの analytics

必要なのが live captions または transcription sidecar なら、OpenAI は WebRTC または WebSockets 経由の Realtime transcription sessions もサポートしている。低レイテンシの transcription-only flow にはその path を使う。/v1/audio/transcriptions は、完了済み recording、post-call processing、または gpt-4o-transcribe-diarize が明示的に必要な場合に残す。これはまだ Realtime API ではサポートされていない。

OpenAI の現在の speech-to-text docs には、設計しやすい具体的な制約がある。

  • audio file upload は 25 MB まで
  • 対応形式は mp3、mp4、mpeg、mpga、m4a、wav、webm
  • gpt-4o-transcribe-diarize は /v1/audio/transcriptions で使えるが、Realtime API ではまだサポートされない
  • whisper-1 は今も verbose_json と word timestamps をサポートする

app が call を録音して後で処理するなら、その path は text-first でシンプルに保つ。

from openai import OpenAI

client = OpenAI()

with open("call.wav", "rb") as audio_file:
    transcript = client.audio.transcriptions.create(
        model="gpt-4o-transcribe-diarize",
        file=audio_file,
        response_format="diarized_json",
        chunking_strategy="auto",
    )

for segment in transcript.segments:
    print(segment.speaker, segment.text, segment.start, segment.end)

この pattern は live session が終わった後に役立つ。話している最中に user が最初に必要とするものではないことが多い。

Step 4: voice quality が product を変えるときだけ別 TTS layer を追加する

多くの app は second voice provider を必要としない。OpenAI の built-in voice で十分なら、そこで止める。

ElevenLabs を追加するのは、次のどれかが必要なときだ。

  • branded voice または cloned voice
  • 別システム向けの specific output format
  • content / product team が直接管理できる voice library
  • reasoning model を変えずに speech output だけ独立調整すること

ElevenLabs の現在の API は integration を小さく保てる。低レイテンシ output layer では、complete file を待たずに server から streaming TTS を使う。

const voiceId = "JBFqnCBsd6RMkjVDRZzb";

const response = await fetch(
  `https://api.elevenlabs.io/v1/text-to-speech/${voiceId}/stream?output_format=mp3_44100_128`,
  {
    method: "POST",
    headers: {
      "xi-api-key": process.env.ELEVENLABS_API_KEY ?? "",
      "Content-Type": "application/json",
    },
    body: JSON.stringify({
      model_id: "eleven_flash_v2_5",
      text: "Your return has been approved. I just sent the label to your email.",
    }),
  }
);

if (!response.ok || !response.body) {
  throw new Error(await response.text());
}

const audioBody = response.body;
// Pipe audioBody to your web client, telephony layer, or audio playback path.

ElevenLabs では次の 2 点が実装に影響する。

  • latency が offline rendering より重要なら、streaming endpoint と Flash model を使う。2026-05-06 時点で、ElevenLabs は eleven_flash_v2_5 を real-time use に最適化された model として掲載し、model latency を約 75 ms としている。ただし application と network latency は含まない
  • optimize_streaming_latency は TTS API reference に残っているが、Deprecated と表示されているため、新しい guidance の中心にしない
  • mp3_44100_192 には少なくとも Creator tier が必要で、pcm_44100 と wav_44100 には少なくとも Pro tier が必要

TTS は後段として扱う。second audio provider を追加した瞬間に、別の pricing model、別の failure surface、別の format constraint を引き受けることになる。

シンプルな判断表

infrastructure を増やす前に、この表で確認する。

Product shape Start here Add later if needed
browser voice tutor OpenAI Realtime over WebRTC session ごとの transcript export
QA review 付き support voice bot transcript storage 付き chained pipeline brand voice が重要なら ElevenLabs
internal voice form-filler live exchange は Realtime audit trail 用の diarized transcript
AI meeting recap tool transcription pipeline first optional playback にだけ TTS
signature voice を持つ consumer companion app turn-taking は Realtime branded output layer として ElevenLabs

ルールは単純だ。要件を満たせる最少の stage を使う。

最も役に立つ Guardrails

低レイテンシ voice app は、model より先に operational reason で失敗することが多い。

早めに次の guardrails を置く。

Voice instructions を短く保つ

長い system prompt は時間を使い、interruption の reasoning も難しくする。live assistant では、まず次のような compact instruction block から始める。

You are a product support voice assistant.
Answer in short spoken sentences.
If the user asks for account actions, collect the minimum details first.
If you are uncertain, say what you need next instead of guessing.
Do not invent policies or order status.

Session growth と transcription cost を制御する

OpenAI の現在の Realtime cost docs は、production constraint を 3 つ明示している。

  • new response は accumulated conversation を再利用するため、cost は turn ごとに増える
  • input transcription を有効にすると別料金で billed される
  • session history が安定しているほど prompt caching が効きやすい

実務では、long session に token window を設定し、古い turn を summarize または delete し、必要がない限り session 途中で instructions を変えない。low latency は transport speed だけではない。session を十分小さく保ち、各 turn を安く予測可能にすることでもある。

Transcripts を durable にする場所を決める

何も保存しないと debugging がつらい。

何でも保存すると privacy review がつらい。

最初に 1 つルールを決める。

  • post-call transcripts だけ保存する
  • error cases だけ保存する
  • user-approved transcripts だけ保存する

Barge-in と repair を明示的に扱う

ユーザーは voice system を interrupt する。文を言い直すし、request の途中で考えを変える。

app は少なくとも次の repair moves を持つべきだ。

  • last answer を cancel する
  • user が question を clean に言い直せるようにする
  • audio quality が悪いとき text input に fallback する
  • spoken turn の後に final answer を text で replay する

悪い network 用の fallback を追加する

OpenAI の 2026-05-04 post は、network quality が product quality の一部であることを思い出させる。それでも app-level backup は必要だ。

実用的な fallback ladder は次の通り。

  1. normal path は Realtime over WebRTC
  2. live audio が劣化したら text transcript + typed reply
  3. live で task を完了できないなら asynchronous follow-up

やらない方がいいこと

次の 3 つの common mistakes を避ける。

安全そうに見えるからといって full chained stack から始めない

stage 間の coordination に時間を使いすぎ、user が voice interface を本当に欲しがるかを学べなくなる。

Standard API key を browser に置かない

OpenAI の current WebRTC setup は、今も backend で session creation または ephemeral secret minting を行う。そこを崩さない。

Product が premium TTS を必要とする前に払わない

良い声は、conversion、retention、task completion、brand perception を変えるときだけ有用だ。そうでなければ、extra stage は latency と cost を足すだけになる。

推奨 Rollout Order

実用的な implementation sequence が欲しいなら、次の順で進める。

  1. WebRTC-based live flow を 1 つ ship する
  2. user が spoken task を完了できるか測る
  3. review または automation のために transcript storage を追加する
  4. voice quality または format control が blocker になったときだけ second TTS layer を追加する
  5. core conversation が動いてから deeper analytics と routing を追加する

この順番なら system を debuggable に保てる。

FAQ

Speech-to-speech と chained audio pipeline のどちらから始めるべき?

product が live browser conversation なら speech-to-speech over WebRTC から始める。durable transcripts、approval steps、speech input と speech output の間の deterministic logic が必要なら chained pipeline から始める。

Realtime voice model を使っていても Whisper は必要?

常に必要ではない。Realtime model は live audio を直接扱える。searchable transcripts、speaker-aware records、live session 外の post-call processing が必要なときに transcription stage を追加する。

ElevenLabs を stack に追加する価値があるのはいつ?

voice 自体が product requirement の一部であるときに追加する。たとえば brand narration、cloned voices、downstream system 向けの specific output formats だ。built-in model voice で job に十分なら skip する。

早く作るために API key を browser に置いていい?

いいえ。OpenAI の現在の WebRTC docs では、standard API keys はまず server を通し、realtime call を作るか ephemeral client secret を発行する形になっている。

検証メモ

2026-05-06 時点で、次の公式ソースで確認した。

確認項目:

  • OpenAI が browser speech-to-speech の starting point として Voice agents を推奨していること、client-side realtime voice では WebSockets より WebRTC を推奨していること
  • OpenAI Realtime の server-side session creation endpoints
  • realtime transcription-only と /v1/audio/transcriptions の support boundary
  • speech-to-text upload limit、accepted file formats、diarization availability
  • Realtime session cost growth、separate transcription billing、current truncation/caching guidance
  • ElevenLabs streaming TTS endpoint、Flash model positioning、optimize_streaming_latency の deprecated status
  • ElevenLabs の high-quality output formats に必要な plan requirements
voice-aiai-agentsopenai