开源软件MMDAgent-EX发布~推动AI时代多模态对话和虚拟形象沟通的跨学科研究~

演示要点

〇​作为AI x CG头像研发平台MMDAgent-EX作为开源发布
〇〇语音识别、合成、对话轻量化、高速运行、高精度头像显示、外部协作、高扩展性
〇用于允许多种表达的对话CG头像“Gene”和“Uka”也同时发布
〇期望推动机器与人类智能接口的实践研究

总结

　V体育工学研究科工学部（信息工学领域）李康信教授领导的研究小组正在进行基于语音对话的研究小组。CGAvatar研发平台MMDAgent-EX被开发并作为开源发布。MMDAgent-EX是2011年4来自月球2022年9直到一月份为止，在大学正门附近安装了双向音频引导数字标牌日本标准时间战略创意研究推广项目（冠)等，并已被用作语音交互构建工具包MMDAgent的改进和扩展版本用于研究和开发目的。提供用于语音识别、语音合成和对话的各种引擎电脑除了轻量级和快速运行之外，聊天GPT以及传感器信息、外部链接以及来自其他应用程序的操作。
　用于两个身体同时对话CG头像“Gene”和“Uka”也可以免费使用。这些是日本标准时间Moonshot 研发项目目标 1 阿凡达共生社会项目 (*1)CG-CA（控制论化身）（※2) 是一个动画风格的角色，具有很高的生活感和对话临场感。具有多种面部表情和身体表情，CG它允许现实和情感互动，并且与工具一起使用时高度集成CG您可以构建头像系统。

　　　　　　　CG-CA“基因”CG-CA“乌卡”

　全部均在开源许可下，并附有日语和英语的相关文档MMDAgent-EX官方网站和GitHub运行环境是Windows、macOS、Linux随着该工具的发布，预计它将作为未来持续发展的人机界面的实用研究平台得到广泛应用，例如人工智能、语音、自然语言、对话、虚拟现实、多模态对话和化身通信，不仅集成了语音，还集成了外观、手势和行为。

研究背景

　该研究组多年来一直在口语处理、口语对话系统、人形界面和语音交互方面进行研究。聊天GPT法学硕士) 也出现，音频用户界面或自然语言用户界面是人工智能作为后端，但为了实现类似人类的自然交互，需要集成处理语音、文字、面部表情、手势等各种多模态信息。另外，由于人形界面涉及外观、设计、定型等因素，因此不仅在技术方面，而且在设计方面也存在很多问题。进行实际研究需要一个集成了广泛专业技术的系统，而单个研究机构开发从技术到设计的所有内容的成本将会很高。
　作为语音对话和交互的综合平台ROS（机器人操作系统）CG没有其他研发环境可以处理包括头像显示控制机制在内的所有事情。这个研究小组是2011年份4来自月球2022年份9直到二月份安装在大学正门附近的双向语音导览数字标牌“Mei & Takumi”项目日本标准时间战略创意研究推广项目 (冠)等，带语音对话CG我一直在进行以人物为中心的研究。2010发布于MMDAgent到目前为止100论文，我们决定将我们研究组开发和扩展的工具作为开源软件免费发布，以促进各个相关研究领域的进步。

研究内容/结果

　MMDAgent-EX 是其前身MMDAgent的基础上，增强了研发和外部协作的功能。结构紧凑，内置轻量级语音识别和语音合成引擎，可在本地高速运行CG它有一个头像显示引擎。常规MMDA代理相比，提高了性能，增强了编写对话脚本的能力，CG除了提高头像的表现力之外，尤其是Python已得到增强。操作平台是上一个Windows新增macOS和Linux的支持
　可以进行广泛的交互设计和外部控制，法学硕士它可以与处理对话和各种传感器信息（例如视觉）的程序进行外部链接或内部嵌入。还有CG您还可以随意更改头像。各种信息CG通过与头像操作链接，它是一种可让您实时建立密切互动的工具。
　MMDAgent-EX源代码Apache 许可证、版本 20它是根据许可证发布的，任何人都可以免费获取和修改它。2正文CG头像是CC-BY 40经许可提供。另外，聊天GPT的连接示例MMDAgent-EX官网同步发布

社会意义

　为了促进界面和交互的多样化研究，需要一个能够以集成方式处理多模态信息的平台。这次MMDAgent-EX和CGAvatar 的发布将使人们能够使用一种从语音处理到头像显示的一体化、轻量级、易于使用且易于扩展的工具，并有望促进语音、自然语言、对话、视觉、机器人、虚拟现实、多模态对话和头像通信等领域的跨学科研究和发展。

未来发展

即使在发布之后GitHubGitHub为中心的用户社区此外，该研究小组将继续致力于MMDAgent-EX和CG我们将利用虚拟形象在语音处理、对话、虚拟形象通信等方面进行研发和产学官合作。

术语表

(※1)登月型研发项目目标1阿凡达共生社会项目
该项目是“登月研发”项目的目标之一，该项目中政府针对超级老龄化社会和全球变暖等重要社会问题制定了雄心勃勃的目标（登月目标），并促进具有挑战性的研究和开发。该项目由大阪大学工程科学研究生院石黑浩教授作为项目经理负责推动。作为“实现每个人都可以发挥积极作用的阿凡达共生社会”的一部分，机器人和CGCA基础和CA我们正在推动旨在实现日常生活的研究和开发。

（※2）　CG控制论化身 (CG 控制论头像、CG-CA）
``作为替代品CG除了化身之外，还可以扩展一个人的身体、认知和感知能力信息通信技术涉及技术的概念，社会50我们的目标是创造一些可以在时代网络物理空间中自由使用的东西。

相关链接

MMDAgent-EX 官方网站：

数据发布站点：
　MMDAgent-EX:
CG-CA基因:
CG-CA 尤卡:

V体育李实验室：

联系信息

研究相关事宜

V体育工学研究科工学部（信息工程领域）
李明典教授
电话：052-735-7550
电子邮件：riakinobu[at]nitechacjp

公共关系很重要

V体育企划公关科
电话：052-735-5647
电子邮件：pr[at]admnitechacjp

*请将每个 [at] 替换为 @。