2024年3月3日 · 最近这一个星期，也就是2月28日的时候，阿里巴巴的HumanAIGC团队发布了一款全新的生成式AI模型EMO（Emote Portrait Alive）。 EMO仅需一张人物肖像照片和音频，就可以让照片中的人物按照音频内容“张嘴”唱歌、说话…

Columbia engineers build Emo, a silicon-clad robotic face that makes eye contact and uses two AI models to anticipate and replicate a person’s smile before the person actually smiles -- a major advance in robots predicting human facial expressions accurately, improving interactions, and building trust between humans and robots.

Emote Portrait Alive: Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions - HumanAIGC/EMO

EMO: The Coolest AI Desktop Pet with Personality and Ideas. Built with multiple sensors and cutting-edge techs, Emo is a cool desktop AI robot pet with character that can self-explore the world and react to you with 1000+ faces and movements. Like a loyal companion, Emo cheers you up with music, dance movements, and online games!

如今，来自哥伦比亚大学的研究团队及其合作者便迈出了重要一步——制造了一个披着硅片、能够预测人类面部表情并同步执行表情的机器人 Emo。 它甚至可以在人类微笑前约 840 毫秒（约 0.9 秒）预测即将出现的微笑。 据介绍，它能与人进行眼神交流，并利用两个人工智能（AI）模型在人微笑之前预测并“复制”人的微笑。 研究团队表示，这是机器人在准确预测人类面部表情、改善互动以及建立人类与机器人之间信任方面的一大进步。 相关研究论文以“Human-robot facial …

2024年3月27日 · Hu et al. trained their anthropomorphic facial robot named Emo to display an anticipatory expression to match its human companion. Emo is equipped with 26 motors and flexible silicone skin to provide precise control over its facial expressions.

EMO Public Emote Portrait Alive: Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions

2024年3月4日 · 最近这一个星期，也就是2月28日的时候， 阿里巴巴 的HumanAIGC团队发布了一款全新的生成式 AI 模型EMO（Emote Portrait Alive）。 EMO仅需一张人物肖像照片和音频，就可以让照片中的人物按照音频内容“张嘴”唱歌、说话，且口型基本一致，面部表情和头部姿态非常自然，发布的视频效果非常好，好的几乎难以置信，特别是 蔡徐坤 唱rap的第一段，效果非常好。 EMO不仅能够生成唱歌和说话的视频，还能在保持角色身份稳定性的同时，根据输入音频的 …

2024年2月29日 · To address these issues, we propose EMO, a novel framework that utilizes a direct audio-to-video synthesis approach, bypassing the need for intermediate 3D models or facial land marks.

Emote Portrait Alive: Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions - Releases · HumanAIGC/EMO