Sonic音频驱动肖像动画生成系统，基于全局音频感知与3D面部先验

Sonic：基于音频感知的肖像动画生成新标杆

你是否曾经为制作逼真的音频驱动肖像动画而烦恼？Sonic 的出现，旨在彻底解决这个问题。它是一个基于深度学习的肖像动画生成系统，能够根据输入的音频自动生成高度同步且自然的面部动画。本文将带你全面了解这个计算机视觉领域的新星。

截至收录：
Sonic项目stars数：3122
Sonic项目forks数：275

Sonic项目目录截图

Sonic项目核心亮点

• 🎵 全局音频感知：采用创新的音频处理技术，能够捕捉音频的全局特征，生成更加自然的面部动画。
• 🎭 高度逼真动画：结合3D面部先验知识，确保生成的面部动画既真实又保持人物身份特征。
• ⚡ 高效推理性能：经过优化，在单张32G GPU上即可运行，平衡了效果与计算资源的需求。
• 🔧 完整工具链：提供从模型推理到后处理的完整解决方案，支持多种输入格式。

Sonic项目快速开始

只需几步，你就能在本地运行起 Sonic：

1. 环境准备：

   # 安装依赖
   pip3 install -r requirements.txt

2. 下载预训练模型：

   # 使用 huggingface-cli 下载模型
   huggingface-cli download LeonJoe13/Sonic --local-dir checkpoints
   huggingface-cli download stabilityai/stable-video-diffusion-img2vid-xt --local-dir checkpoints/stable-video-diffusion-img2vid-xt
   huggingface-cli download openai/whisper-tiny --local-dir checkpoints/whisper-tiny

3. 运行示例：

   python3 demo.py \
   /path/to/input_image  \
   /path/to/input_audio  \
   /path/to/output_video

Sonic项目应用场景

• 虚拟主播制作：为虚拟偶像或数字人提供自然的唇形同步和面部表情动画。
• 影视后期制作：快速生成配音演员的面部动画，大幅提升制作效率。
• 教育内容创作：为在线教育课程创建生动的讲解动画，提升学习体验。
• 社交娱乐应用：为用户提供个性化的音频驱动头像动画功能。

Sonic项目链接

jixiaozhong / Sonic项目地址：https://github.com/jixiaozhong/Sonic

本文地址：https://www.tgoos.com/28422