Hy-Embodied-RxBrain-1.0常见问题解答解决安装与使用中的30个问题【免费下载链接】Hy-Embodied-RxBrain-1.0项目地址: https://ai.gitcode.com/tencent_hunyuan/Hy-Embodied-RxBrain-1.0Hy-Embodied-RxBrain-1.0是一款融合语言推理与视觉想象的具身认知基础模型能够实现具身理解与推理、世界状态预测以及联合子目标规划等核心功能。本文将解答安装与使用该模型过程中可能遇到的30个常见问题帮助新手和普通用户顺利上手。 安装相关问题系统环境要求支持的操作系统有哪些推荐使用Linux系统目前模型在Linux环境下经过充分测试兼容性最佳。需要什么版本的Python要求Python 3.10及以上版本建议使用3.10或3.11版本以确保依赖库正常安装。对CUDA和GPU有什么要求需要CUDA 12.x版本且必须配备NVIDIA GPU用于flash-attn显存建议16GB及以上以保证模型顺利运行。PyTorch版本有要求吗需安装PyTorch 2.10版本其他版本可能存在兼容性问题。安装步骤问题如何安装特定版本的Transformers执行以下命令安装模型所需的特定Transformers版本pip install githttps://github.com/huggingface/transformers9293856c419762ebf98fbe2bd9440f9ce7069f1a注意普通的transformers发行版暂不包含hunyuan_vl_mot必须使用此固定提交版本。如何克隆仓库并安装依赖首先克隆代码仓库git clone https://gitcode.com/tencent_hunyuan/Hy-Embodied-RxBrain-1.0 cd Hy-Embodied-RxBrain-1.0然后安装依赖pip install -r requirements.txt安装依赖时出现权限问题怎么办可以在pip install命令后添加--user参数使用用户级安装pip install --user -r requirements.txt安装过程中提示缺少某些系统库怎么办根据错误提示安装相应的系统库例如在Ubuntu上可能需要sudo apt-get install libgl1-mesa-glx libglib2.0-0模型下载问题如何下载模型权重使用以下命令下载模型权重到本地目录pip install -U huggingface_hub[cli] hf download tencent/Hy-Embodied-RxBrain-1.0 --local-dir ./Hy-Embodied-RxBrain-1.0需要下载FLUX VAE吗仅进行VQA理解任务时不需要但进行图像生成T2I、世界模型滚动、交错规划任务时需要额外下载FLUX VAE的ae.safetensors文件可从FLUX分布获取。模型下载速度慢怎么办可以尝试使用代理或更换网络环境也可以通过Hugging Face Hub网页手动下载模型文件后放到指定目录。下载的模型文件放在哪里模型文件应放在本地目录--ckpt参数必须指向本地路径而不是Hub仓库ID。 使用相关问题基本使用问题如何加载模型和处理器参考以下代码加载模型和处理器from transformers.models.hunyuan_vl_mot import HunYuanVLMoTProcessor from model import UnifiedMoTForConditionalGeneration, maybe_init_generation_path MODEL_PATH ./Hy-Embodied-RxBrain-1.0 # 本地 checkpoint 目录 processor HunYuanVLMoTProcessor.from_pretrained(MODEL_PATH, trust_remote_codeTrue) model UnifiedMoTForConditionalGeneration.from_pretrained(MODEL_PATH, dtypetorch.bfloat16) maybe_init_generation_path(model, model_load_pathMODEL_PATH) model.to(device).eval()模型支持哪些任务支持视觉问答VQA、文本到图像T2I、多帧世界模型滚动以及交错具身规划等任务。如何运行视觉问答VQA任务使用以下命令运行VQA任务python vqa_inference.py \ --ckpt ./Hy-Embodied-RxBrain-1.0 \ --images demo_cases/bridgev2_move_toy/input/obs_1.jpg \ --question What objects are on the stovetop, and where is the green toy? \ --max_new_tokens 256如何进行文本到图像T2I生成执行以下命令生成图像python text2image_inference.py \ --ckpt ./Hy-Embodied-RxBrain-1.0 --vae /path/to/ae.safetensors \ --prompt a watercolor painting of a cat \ --height 256 --width 256 --num_steps 25 --out out.png常见错误解决运行时提示“找不到模型文件”怎么办检查--ckpt参数是否指向正确的本地模型目录确保模型文件已完整下载。出现CUDA内存不足错误怎么办尝试减小输入图像尺寸、降低批量大小或使用更小的模型参数配置也可以清理GPU内存后重新运行。提示“缺少FLUX VAE”如何解决下载FLUX VAE的ae.safetensors文件并在命令中通过--vae参数指定其路径。导入UnifiedMoTForConditionalGeneration时出错怎么办确保是从项目根目录运行代码以便model包能够被正确导入。运行脚本时提示“没有该文件或目录”怎么办检查脚本中涉及的文件路径是否正确例如demo_cases目录是否存在。高级使用问题如何进行多帧世界模型滚动使用以下命令想象未来帧python multiframe_inference.py \ --ckpt ./Hy-Embodied-RxBrain-1.0 --vae /path/to/ae.safetensors \ --frames /path/to/obs.jpg --task imagine the next frames \ --num_frames 4 --num_steps 50 --out_dir multiframe_out如何进行交错具身规划运行以下命令进行交错规划CASEumi_fold_sock python interleave_inference.py \ --ckpt ./Hy-Embodied-RxBrain-1.0 --vae /path/to/ae.safetensors \ --frames demo_cases/$CASE/input/*.jpg \ --task $(cat demo_cases/$CASE/prompt.txt) \ --max_frames 5 --num_steps 50 --out_dir out_$CASE如何调整生成图像的质量可以通过增加--num_steps生成步数和调整--cfg_scale分类器自由引导尺度来改善图像质量例如python text2image_inference.py \ --ckpt ./Hy-Embodied-RxBrain-1.0 --vae /path/to/ae.safetensors \ --prompt a watercolor painting of a cat \ --cfg_scale 5.0 --num_steps 50 --out out.png模型支持自定义提示词吗支持在运行T2I等任务时通过--prompt参数传入自定义提示词即可。 其他常见问题模型的许可证是什么模型使用Apache-2.0许可证详情可查看LICENSE文件。项目有哪些更新计划未来计划开源RxBrain-Bench基准、视觉问答VQA、多帧生成和交错生成的微调代码等可关注项目更新动态。在哪里可以找到更多示例项目的demo_cases目录中包含多个示例场景可参考demo_cases/README.md了解详情。模型的参数规模是多少Hy-Embodied-RxBrain-1.0的参数规模约为6.2BFLUX VAE的参数为83.8M。遇到未提及的问题怎么办可以查阅项目的技术报告或在项目的GitHub仓库提交issue寻求帮助。【免费下载链接】Hy-Embodied-RxBrain-1.0项目地址: https://ai.gitcode.com/tencent_hunyuan/Hy-Embodied-RxBrain-1.0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考