LLMRTC Docs

LLMRTC Docs について

LLMRTC Docs は、リアルタイム音声およびビジョンアプリケーションの構築のための TypeScript SDK である LLMRTC の公式ドキュメントです。このSDKは、WebRTCベースの音声/映像ストリーミングを、大規模言語モデル（LLM）、音声認識（STT）、音声合成（TTS）と、単一かつプロバイダーに依存しないAPIを通じて統合します。対話的で会話型のシステムに適した、低遅延の双方向ストリーミングに焦点を当てています。

このドキュメントは、音声アシスタント、マルチモーダルエージェント、カスタマーサポートフローなど、会話型AI向けの信頼できるインフラが必要な開発者を対象としています。LLMRTCは、セッション管理、プロバイダーのオーケストレーション、音声活動検出（VAD）、再接続などの複雑なランタイム処理を抽象化することで、チームがアプリケーションロジックに集中できるようにします。

主なポイント

• WebRTCによるリアルタイム音声/映像ストリーミング（1秒未満の遅延）
• 自然な発話の順番制御を実現するサーバー側の音声活動検出（VAD）および割り込み（barge-in）機能
• クラウドおよびローカルモデル間でのプロバイダーに依存しない設計。LLM、STT、TTSプロバイダーを自由に組み合わせ可能
• JSON Schemaを使用したツール呼び出しにより、検証済み関数の実行をサポート
• 設定可能な遷移を持つ多段階会話のためのプレイブック機能
• 文境界検出によるエンドツーエンドのストリーミングパイプライン（STT → LLM → TTS）
• TTFT、トークン数、処理時間など観測可能なフックおよびメトリクス
• 自動再接続と会話履歴の保持によるセッションの耐障害性

LLMRTC Docs の仕組み

LLMRTCは、コアロジック、サーバー機能、ブラウザ連携を分離した3つのパッケージから構成されています：

実行時には、ユーザーの音声がサーバーにストリーミングされ、VADによって音声の区間が検出され、音声からテキストへ変換されます。その文字起こしデータはLLMによって処理され、必要に応じてJSON Schemaで定義された開発者独自のツールを呼び出すことができます。応答は音声に変換され、クライアントにストリーミングされます。文境界検出により、生成が完了する前に早期かつ自然なTTS再生が可能になります。

開発者は、アプリケーションコードを変更することなく、プロバイダーの切り替えや組み合わせが可能であり、たとえばLLMにはあるプロバイダー、STTには別のプロバイダー、TTSにはさらに別のプロバイダーといった設定が可能です。SDKは、ログ記録、デバッグ、カスタム動作のために20以上のフックポイントを提供し、組み込みのメトリクスも備えています。セッションの耐障害性には再接続と状態の継続性が含まれます。本番環境では、安定したWebRTC接続を確保するためにTURNサーバーの導入が必要です。ドキュメントにはその設定に関するガイダンスが含まれています。

主な利点と用途

LLMRTCは、会話型およびマルチモーダルなさまざまなユースケースをサポートしています：

• 音声アシスタント：低遅延で中断可能な発話を実現し、特定領域のツールを備えたアシスタントを構築
• カスタマーサポート：プレイブックを通じて認証、トリアージ、解決までの流れをユーザーに案内
• マルチモーダルエージェント：音声にカメラまたは画面入力を組み合わせ、文脈を理解した支援を実現
• デバイス上AI：Ollama、Faster-Whisper、Piperなどのプロバイダーを使ってローカルで実行し、プライバシーとコストを制御

主な利点には、プロバイダーに依存しないアーキテクチャ、包括的な型定義を備えた統一されたTypeScript API、検証済みのツール呼び出し、フックとメトリクスによる運用可視性が含まれます。アーキテクチャのストリーミングパイプラインと文脈を意識したTTSにより、体感遅延が低減され、セッション管理および再接続機能によって、実際のネットワーク環境下での信頼性が向上します。