Meta推出Muse Realtime Avatar：与Muse语音在一秒内同步的表情视频虚拟形象

2026年9月23日在Meta Connect上，Meta推出了Muse Realtime Avatar——该系统将Muse Realtime Voice转变为以照片、插画甚至动物与物体等参考媒体为条件的表情丰富的交互虚拟形象。公司还宣布了Ray-Ban Meta Audio眼镜，并表示Muse将登陆眼镜；Muse仍面向18岁及以上用户。

工作原理

虚拟形象由音频驱动的Diffusion Transformer驱动，并与语音模型共享语音token流，使口型与表情保持同步。Meta称以25帧/秒流式传输448×768竖版画面，从用户话轮结束到同步语音与视频的首字节约有870毫秒延迟。

蒸馏大幅降低算力：原先每块120次评估的教师模型被仅需两次无引导评估的学生模型取代——降低60倍。在单块GB200 GPU上，Meta报告可同时运行12路实时视频会话，容量较BF16基线提升8倍。

对比与安全

据Meta称，在实时通话对比中，人类评分者总体上更偏好Muse Realtime Avatar，而非Runway Characters和HeyGen LiveAvatar。安全方面，Meta应用不可见水印Meta Video Seal，且不增加延迟。

为何重要

以参考条件驱动的实时虚拟形象拉近了对话式AI与屏幕在场感之间的距离。Meta公布的延迟、容量与水印细节，为这类系统如何落地提供了具体基准——而18+年龄门槛与水印也体现了公司对Muse所宣称的安全框架。