Heygen数字人平替：视频翻译与声音克隆一键体验！

这类视效果娱乐效果极佳，毫无痕迹。AI技术在表情、嘴型和声音处理上表现出色，为用户带来无与伦比的体验。RaskAI和Heygen等项目的实现方法并不复杂，已经在此领域取得了巨大成功。

这些产品提供了便捷的视频制作方式，用户只需上传视频和语音，即可快速创建类似效果的视频。然而，这些服务并非免费，长期使用的费用相对较高。此外，许多用户由于语言障碍而无法轻松上手这类AI产品。

因此，一些人开始关注”平替”技术。近期，多人向我询问能否开展MyHeyGen项目。

这个项目整合了许多开源项目，涉及HeyGenClone、TTS、视频翻译、CodeFormer等项目，涵盖了数十个模型文件。因此，要推动这个项目，需要掌握的知识颇多。除了开源项目外，还涉及一些在线平台的调用。

总的来说，推动这个项目需要一定的努力。然而，一旦项目推进，几乎可以零成本制作视频。

现在让我们来看看官方文档中的步骤：

1. 准备一张高配显卡，如3090、4090等（官方建议显存>24GB）。
2. 注册Hugging Face并申请token。
3. 申请百度翻译APP key。
4. 获取18个模型。
5. 安装依赖并配置运行。

由于文档没有提到支持Windows，我选择在阿里云的深度学习平台或Google的Colab上运行。由于模型文件位于Google网盘上，并且文件较大，上传到阿里云将非常麻烦，因此我选择了Colab平台。

尽管在配置过程中遇到了一些问题，但最终还是成功了。

然而，今天重新运行时又出错了！错误提示可能是由于TTS版本问题引起的。重新调整TTS版本后，又遇到了Numpy的问题，但幸运的是，最终还是解决了。

接下来，我将详细介绍如何启动这个项目：

首先，我使用了Colab平台，因此您可以省去购买高配显卡的步骤。

然后，我们需要HF和百度翻译的接口。

最后，不必担心所有复杂的东西，只需使用我提供的脚本即可。

具体步骤如下：

1. 注册HF并获取秘钥。
2. 获取百度翻译的密钥。
3. 获取Colab脚本。
4. 更改运行时。
5. 挂载云端硬盘。
6. 修改配置文件。

完成以上设置后，即可开始制作视频。

视频制作逻辑是：将需要处理的视频上传到est文件夹中，命名为src.mp4。然后选择语言，如中文，即可让视频中的人说中文。语音转文本、文本翻译、文本转语音、声音克隆、嘴型同步、视频合成等操作均可一键完成。

制作完成后，您会在est文件夹下找到生成的视频。从最终的视频来看，语言翻译和转换非常成功，视频画面也相当不错。整个流程虽然有些复杂，但一旦掌握，未来的前景令人兴奋！

喜欢折腾的朋友可以尝试一下，不想折腾但又想制作视频的朋友可以直接使用Heygen。