数字人启动
Active code page: 65001
开始运行
Python 3.10.11 (tags/v3.10.11:7d4cc5a, Apr 5 2023, 00:38:17) [MSC v.1929 64 bit (AMD64)]
Commit hash: <none>
Installing requirements for SadTalker WebUI (may take longer time in first time)
Launching SadTalker Web UI
Running on local URL: http://127.0.0.1:7860
To create a public link, set `share=True` in `launch()`.
WARNING: The new version of the model will be updated by safetensor, you may need to download it mannully. We run the old version of the checkpoint this time!
{'wav2lip_checkpoint': 'checkpoints\\wav2lip.pth', 'audio2pose_checkpoint': 'checkpoints\\auido2pose_00140-model.pth', 'audio2exp_checkpoint': 'checkpoints\\auido2exp_00300-model.pth', 'free_view_checkpoint': 'checkpoints\\facevid2vid_00189-model.pth.tar', 'path_of_net_recon_model': 'checkpoints\\epoch_20.pth', 'dir_of_BFM_fitting': 'src/config', 'audio2pose_yaml_path': 'src/config\\auido2pose.yaml', 'audio2exp_yaml_path': 'src/config\\auido2exp.yaml', 'use_safetensor': False, 'mappingnet_checkpoint': 'checkpoints\\mapping_00229-model.pth.tar', 'facerender_yaml': 'src/config\\facerender.yaml'}
G:\C盘临~1\Temp\gradio\8e664e4cdcff9a8eb53793da5bd4d4f98bdfe360\image.png
landmark Det:: 100%|██████████████████████████████████████████████████landmark Det:: 100%|█████████████████████████████████████████████████████████████████████| 1/1 [00:08<00:00, 8.18s/it]
3DMM Extraction In Video:: 100%|████████████████████████████████████████████3DMM Extraction In Video:: 100%|█████████████████████████████████████████████████████████| 1/1 [00:06<00:00, 6.83s/it]
mel:: 100%|███████████████████████████████
.pth 文件是 PyTorch 用于保存和加载模型权重
模型文件作用
| 序号 | 文件 | 说明 |
| 1 | wav2lip.pth | Wav2Lip 是一种能将语音与给定视频中的人物嘴唇动作精准匹配的技术 |
| 2 | auido2exp_00300-model.pth | 音频驱动的表情生成 |
| 3 | facevid2vid_00189-model.pth | FaceVid2Vid 旨在根据源图像和目标视频的音频等信息，生成具有逼真面部表情和动作的视频。facevid2vid - model.pth 文件中的参数决定了模型如何学习和执行这种转换 |
| 4 | mapping-model.pth | 图像风格迁移：模型可能用于将一种图像风格映射到另一种图像上。例如，把梵高画作的风格映射到普通风景照片上，实现照片的艺术风格化。“mapping - model.pth” 中存储的参数决定了如何提取源风格图像（如梵高画作）的特征，并将这些特征有效地迁移到目标内容图像（普通风景照）上，从而生成具有特定风格的新图像 |
| 5 | shape_predictor_68_face_landmarks | 人脸关键点定位：其核心功能是在给定的人脸图像中精准定位出 68 个关键点。这些关键点分布在人脸的各个关键部位，包括眼睛、眉毛、鼻子、嘴巴、下巴等。比如，能准确标记出眼角、嘴角、鼻尖、眉峰等位置。通过这些关键点，可以获取人脸的详细几何结构信息，为后续的各种人脸分析任务提供基础数据 |
| 6 | 2DFAN4- | 高精度：2DFAN4 在检测人脸关键点方面展现出卓越的准确性。通过精心设计的网络结构和大量数据的训练，它能够精确地定位人脸上众多关键特征点，无论是在正面人脸还是具有一定角度、表情变化或遮挡情况的人脸图像上，都能实现可靠的检测，为后续基于人脸关键点的分析提供了坚实基础 |
| 7 | BFM_Fitting | Basel Face Model 是一个统计 3D 人脸模型，它通过对大量真实人脸的三维扫描数据进行主成分分析（PCA）构建而成。这个模型可以用少量的参数来表示不同的人脸形状和纹理，为人脸分析和合成提供了一个强大的基础框架。BFM 包含平均脸形状、形状偏差向量以及平均脸纹理、纹理偏差向量等信息。通过调整这些偏差向量对应的参数，可以生成各种各样不同的人脸形状和纹理 |
运行数字人
