Skyfall-GS评估指标解析CLIP-FID、CMMD与几何精度全方位测评【免费下载链接】Skyfall-GS[ECCV 2026] Skyfall-GS: Synthesizing Immersive 3D Urban Scenes from Satellite Imagery项目地址: https://gitcode.com/gh_mirrors/sk/Skyfall-GSSkyfall-GS是一款从卫星图像合成沉浸式3D城市场景的开源项目本文将深入解析其核心评估指标包括CLIP-FID、CMMD以及几何精度帮助用户全面了解模型性能。什么是Skyfall-GSSkyfall-GS是ECCV 2026收录的创新项目能够从卫星图像生成高度逼真的3D城市场景。该项目通过先进的算法将2D卫星图像转化为可交互的3D环境为城市规划、虚拟旅游等领域提供强大支持。图Skyfall-GS从卫星图像生成的3D城市场景效果展示展示了项目在不同视角下的渲染能力评估指标一CLIP-FID什么是CLIP-FIDCLIP-FID是基于CLIP特征计算的FIDFréchet Inception Distance分数用于评估生成图像与真实图像的相似度。与传统FID相比CLIP-FID利用CLIP模型的强大特征提取能力能更准确地衡量图像质量。如何计算CLIP-FID在Skyfall-GS中CLIP-FID的计算主要通过eval.py实现。该脚本会加载预训练的CLIP模型提取生成图像和真实图像的特征然后计算这些特征之间的Fréchet距离。# eval.py中CLIP-FID计算的核心代码 def calculate_metrics(gt_dir, pred_dir): # Calculate CLIP-FID print(Calculating CLIP-FID...) try: clip_fid compute_clip_fid(gt_dir, pred_dir, batch_sizeargs.batch_size, patchifynot args.no_patchify) except Exception as e: print(fError calculating CLIP-FID: {e}) clip_fid NoneCLIP-FID数值解读CLIP-FID值越低表示生成图像与真实图像越相似。一般来说低于10的CLIP-FID值表示生成质量非常高而超过50则可能存在明显差异。评估指标二CMMD什么是CMMDCMMDCLIP Maximum Mean Discrepancy是一种基于CLIP特征的最大均值差异度量旨在解决传统FID在高分辨率图像评估中的局限性。CMMD能更好地捕捉图像的全局结构和细节特征。CMMD的实现Skyfall-GS中CMMD的计算由cmmd_pytorch/main.py实现该模块是CMMD的PyTorch非官方实现。# cmmd_pytorch/main.py中CMMD计算的核心函数 def calculate_cmmd(ref_dir, eval_dir, embedding_modelViT-L/14, batch_size32): Calculates the CMMD distance between reference and eval image sets. # 加载图像数据 ref_dataset CMMDDataset(ref_dir, embedding_model.input_image_size) eval_dataset CMMDDataset(eval_dir, embedding_model.input_image_size) # 提取特征 ref_features extract_features(ref_dataset, embedding_model, batch_size) eval_features extract_features(eval_dataset, embedding_model, batch_size) # 计算CMMD cmmd_value maximum_mean_discrepancy(ref_features, eval_features) print(fThe CMMD value is: {cmmd_value:.3f}) return cmmd_valueCMMD与FID的对比根据cmmd_pytorch/README.mdCMMD在评估高分辨率图像生成质量时表现优于传统FID。例如在COCO-30k数据集上Stable Diffusion v1.5的CMMD值7.696优于SDXL这可能是因为COCO图像分辨率较低而CMMD对细节更敏感。图Skyfall-GS将多视角卫星图像左下角转换为3D城市场景中央的过程展示评估指标三几何精度几何精度评估的重要性对于3D城市场景生成除了视觉质量外几何精度同样关键。Skyfall-GS通过多种方法评估生成场景的几何准确性包括点云分析和DSM数字表面模型比较。点云生成与评估evaluate_gs_geometry.py是几何精度评估的核心脚本。该脚本从多个视角渲染深度图将其转换为3D点云并与真实DSM进行比较。# evaluate_gs_geometry.py中的点云生成过程 def depth_to_point_cloud(depth_map, camera, enu_originNone): Convert a depth map to a 3D point cloud in UTM coordinates. # 1. 准备输入数据 # 2. 创建像素坐标网格 # 3. 反投影到相机坐标系 # 4. 转换到ENU世界坐标系 # 5. 转换到UTM坐标系 return points_utmDSM比较指标Skyfall-GS使用以下指标评估DSM的几何精度MAE平均绝对误差预测高度与真实高度的平均绝对差异RMSE均方根误差衡量预测值与真实值之间的整体差异完整性Completeness预测DSM覆盖真实DSM有效区域的比例这些指标通过evaluate_gs_geometry.py中的compute_dsm_metrics函数计算def compute_dsm_metrics(pred_dsm, gt_dsm, maskNone): Compute DSM evaluation metrics. # 计算MAE、RMSE和完整性 return { mae: mae, rmse: rmse, valid_pixels: np.sum(valid_both), completeness: completeness }如何在Skyfall-GS中使用评估工具要评估Skyfall-GS生成结果可使用以下命令python eval.py --model_path /path/to/model --data_path /path/to/data对于几何精度评估使用python evaluate_gs_geometry.py --model_path /path/to/model --scenes JAX_004 JAX_260总结Skyfall-GS通过CLIP-FID、CMMD和几何精度三类指标全面评估3D城市场景生成质量。CLIP-FID和CMMD关注视觉质量而几何精度指标确保生成场景的空间准确性。这些评估工具帮助用户了解模型性能并为进一步改进提供方向。通过这些评估指标Skyfall-GS不仅能够生成视觉上逼真的3D城市场景还能保证其几何结构的准确性为实际应用提供可靠的虚拟环境。【免费下载链接】Skyfall-GS[ECCV 2026] Skyfall-GS: Synthesizing Immersive 3D Urban Scenes from Satellite Imagery项目地址: https://gitcode.com/gh_mirrors/sk/Skyfall-GS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考