GitHub - OpenBMB/MiniCPM-V: MiniCPM-V 2.6: A GPT-4V Level MLLM for Single Image, Multi Image and Video on Your Phone
安装和执行 "Local WebUI Demo" 的步骤如下：
克隆仓库并导航到源文件夹：
git clone https://github.com/OpenBMB/MiniCPM-V.git
cd MiniCPM-V
创建 conda 环境：
conda create -n MiniCPM-V python=3.10 -y
conda activate MiniCPM-V
安装依赖项：
pip install -r requirements.txt
如果你有 NVIDIA GPU，运行以下命令：
python web_demo_2.6.py --device cuda
如果没有 GPU，运行以下命令：
python web_demo_2.6.py
请注意，这些步骤可能需要一些时间来完成，具体取决于你的网络速度和计算资源。安装完成后，你可以访问本地 WebUI 进行交互。
遇到问题，RuntimeError: cutlassF: no kernel found to launch!
模型推理的时候出现这个问题搜了搜本以为是bfloat精度问题，但改了之后依然没用。
nvidia-smi的cuda version是12.2
nvcc -V 的cuda version是12.1
torch版本为2.1.2，最终将torch版本回退为2.1.0后成功解决问题。torchvision版本不兼容目前没发现有啥大问题，有问题的话后续更新
