voice-assistant.ioは、ハードウェア統合向けに設計されたオープンソースのプログラマブル音声インタフェースプラットフォームです。ESP32-S3マイコンを用いてカスタム音声制御端末を構築し、軽量でエッジ最適化されたアーキテクチャを通じて、主にGoogle Gemini LiveなどのライブAIモデルと連携します。このシステムでは、制約のあるハードウェア上で完全なAI推論を実行する代わりに、責任を明確に分離した3層構造を採用しています：音声キャプチャおよびウェイクワード検出はデバイス側で実行され、ロジック処理および関数ルーティングはユーザーが管理するローカルアシスタントエージェントで行われ、複雑な言語理解および応答生成はクラウドベースのAIモデルに委譲されます。
本プラットフォームは、組み込みシステム開発者、IoT統合エンジニア、スマートホーム自動化構築者、およびベンダーロックインを回避したい柔軟かつ低遅延の音声制御を求める研究者をターゲットとしています。モジュール性、透明性、拡張性を重視しており、オープンなPCB回路図、Gerberファイル、フラッシュ可能なファームウェア、およびマルチプラットフォーム対応のセットアップツールを提供することで、迅速なプロトタイピングおよび展開を支援します。
turn_on_light(location="kitchen")）を動的に選択本システムは、3つの協調動作するレイヤーで構成されます。第1に、ESP32-S3フロントエンドがマイク入力を処理し、リアルタイムのウェイクワード検出および基本UIフィードバック（例：LEDインジケーター）を担当します。トリガーが検出されると、圧縮された音声ストリームがローカルアシスタントエージェント（通常は近接するLinuxマシンまたはサーバー上で実行）へ送信されます。このエージェントは音声ストリームを処理し、Gemini Live APIへ転送して、生のテキスト応答ではなく構造化された関数呼び出し要求（例：turn_on_light(location="kitchen")）を受け取ります。その後、事前に設定された統合手段（MQTTトピックへのパブリッシュ、シェルコマンド実行、ウェブフック起動、GPIOピン制御など）を用いて指定された関数をローカルで実行します。
関数の振る舞いを変更する際に、再コンパイルやファームウェアの再書き込みは一切不要です。ユーザーは設定ファイルまたはダッシュボードで関数セットを定義・更新し、アシスタントエージェントが実行時に動的に読み込みます。音声圧縮およびプロキシ処理はローカルエージェント層で実行されるため、遅延およびネットワーク負荷を最小限に抑えつつ、応答品質を維持します。すべてのコンポーネントは標準プロトコル（HTTP、MQTT、WebSocket）で通信し、既存のインフラストラクチャとの相互運用性を確保します。
voice-assistant.ioは、異種環境向けの汎用音声制御インタフェースとして機能します。スマートホーム展開では、プロプライエタリなハブを必要とせず、MQTTベースのエコシステムにレガシーまたはカスタムハードウェアを接続できます。開発者はCI/CDワークフローを音声でトリガー可能であり、CLI統合を用いてビルドの開始やコードのデプロイを実行できます。ロボティクスおよび実験装置では、ローカルで定義された関数を活用したハンズフリーかつ文脈認識型のコマンド実行が可能です。オートメーションエンジニアは、n8nなどのワークフローエンジンと統合し、自然言語入力を複雑なマルチステップワークフローに追加できます。本システムは音声理解とアクション実行を明確に分離しているため、ユーザーはデータフロー、セキュリティ境界、実行コンテキストを完全に制御でき、音声データが明示的な設定がない限りローカルネットワークを離れないような、プライバシーに配慮したまたはエアギャップ環境への展開にも適しています。
