Description of MMDAgent-EX


MMDAgent-EX は、キャラクターエージェントとのお喋りのような「音声対話」あるいは「音声によるやりとり」を自在に構築できるプラットフォームです。対話スクリプト、3-Dモデルおよびモーションファイル(MikuMikuDance互換)、音楽やテキスト、画像などを組み合わせて、エージェントと会話を含めたやりとりを行うシステムを自在に構築できます。

音声認識エンジンJulius、音声合成エンジン OpenJTalk および MikuMikuDance 互換のレンダラーを組み合わせて構成されたソフトウェアであり、全てのモジュールがオールインワンで統合された単体アプリケーションです。コンテンツを一度ダウンロードすれば、あとはローカル環境で音声対話が高速に動作します。

MMDAgent-EX(旧名:Pocket MMDAgent)は MMDAgent をスマートフォン向けに拡張したアプリです。Web上で公開されている MMDAgent 用の音声対話システム(音声対話コンテンツ)をダウンロードして再生できるほか、システムの自動更新、対話スクリプトの自動同期、メニューやダイアログ、ボタンなどの追加UIサポート、コンテンツ配信者へのログ収集・フィードバック機能等を備えています。学術実験からエンターテインメントまで、コンテンツ提供者とユーザを繋いだ幅広いエージェント対話の実行環境を提供します。

誰でも、作成した音声対話コンテンツをWebサーバーへアップ・公開することで、Pocket MMDAgent で再生することができます。また、設定によってはユーザからのフィードバックを直接得ることができます。

対話コンテンツの作成方法や各部の仕様については、MMDAgent-EX のホームページ(旧Pocket MMDAgent のページから近日リニューアル予定)にて公開します。


Android 6.0 以降


MMDAgent-EX は名古屋工業大学大学院情報工学専攻の 李 研究室のメンバーが主となって開発しています。音声認識・音声合成・対話管理を含めた基本機能の大部分は MMDAgent と共通です。本アプリケーションは音声対話システムおよび対話的音声インタフェースの研究開発のプラットフォームとして、ならびに一般ユーザやクリエイターによる音声対話コンテンツの創造と利用を促進するためのプラットフォームを目指して作成されました。

MMDAgent-EX is a platform that allows you to freely build “voice dialogues” or “voice exchanges” like talking with character agents. By combining dialogue scripts, 3-D models and motion files (compatible with MikuMikuDance), music, text, images, etc., you can freely build a system for interaction with agents.

This software is composed of a speech recognition engine Julius, a speech synthesis engine OpenJTalk, and a renderer compatible with MikuMikuDance. It is a single application in which all modules are integrated all in one. Once the content is downloaded, the voice conversation runs at high speed in the local environment.

MMDAgent-EX (former name: Pocket MMDAgent) is an application that extends MMDAgent for smartphones. In addition to downloading and playing the voice dialog system (voice dialog content) for MMDAgent published on the web, automatic update of the system, automatic synchronization of dialog scripts, additional UI support for menus, dialogs, buttons, etc., content delivery Log collection and feedback functions for users. From academic experiments to entertainment, we provide a wide range of agent interaction execution environments that connect content providers and users.

Anyone can play back the created voice dialogue content on the Web server and play it with Pocket MMDAgent. Depending on the settings, you can get feedback directly from the user.

The method for creating interactive contents and specifications of each part will be released on the MMDAgent-EX website (coming soon to be renewed from the previous Pocket MMDAgent page).

◆ Operating environment

Android 6.0 or later

◆ About this application

MMDAgent-EX is developed mainly by members of the Lee laboratory of the Graduate School of Information Engineering, Nagoya Institute of Technology. Most of the basic functions including speech recognition, speech synthesis, and dialogue management are the same as MMDAgent. This application was created as a research and development platform for spoken dialogue systems and interactive voice interfaces, and as a platform for promoting the creation and use of spoken dialogue content by general users and creators.
MMDAgent-EX はクラウド環境で音声対話・音声インタラクションを遊び、開発し、研究するためのプラットフォームを目指して継続的に開発され続けているアプリケーションです。 MMDAgent-EX は MMDAgent の拡張版で、マルチOSのサポート、Webベースのコンテンツ共有、 PMX互換レンダリングを含むMMDとの互換性改善、 REST API および Apache Kafka を用いたロギングといった機能が追加されています。また、音声APIの刷新(Google Oboe の利用)、64bit 対応など、大幅な安定性とパフォーマンスの向上が行われています。

バージョン1.3 はベータ版の正式公開バージョンです。ドキュメントおよび詳細は、MMDAgent-EX のホームページ で2019年中に公開される予定です。

App Information of MMDAgent-EX

App Name MMDAgent-EX v1.3
Genre Games, Libraries & Demo
Size21.0 MB
Latest Version1.3
Get it On Google Play
Package Nameorg.lee_lab.pocketmmdagent

Leave a Reply

Your email address will not be published.