LocalAI 入门指南3 条命令在普通电脑上跑起本地 AI【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI 是一个开源的本地 AI 推理引擎把 LLM、语音、图像等模型的运行从云端搬回你自己的电脑不依赖 GPU还对外提供一套 OpenAI 兼容的 API。这篇指南面向想在个人电脑上装好它、并第一次跑通模型的新手。系统要求与 Docker 安装步骤操作系统Linux、macOS或装好 Docker Desktop 的 Windows内存最低 4GB想流畅跑 4B 参数模型建议 8GB 以上磁盘预留 10GB 存放模型文件GPU非必需纯 CPU 镜像即可运行安装只需一条命令CPU 版镜像docker run -p 8080:8080 --name local-ai -ti localai/localai:latest有 NVIDIA 显卡的话加--gpus all并换用标签带cuda的 GPU 镜像即可。首次使用装一个模型并跑通第一次对话打开 http://localhost:8080 进入 Models 页面在 Explore 里搜索qwen3-4b并点击 Install。选它是因为体积小、CPU 就能跑下载完成后会自动出现在聊天页面的下拉框里。切到 Chat 页面选中qwen3-4b发一句你好几秒内就能看到回复。到这里从安装到出结果的闭环就跑通了。习惯命令行的话二进制安装版可以直接执行local-ai run qwen3-4b local-ai chat --model qwen3-4b之后写程序时把 OpenAI SDK 的 base URL 指向http://localhost:8080就行端点格式与 OpenAI 一致如/v1/chat/completions。把多台电脑拼成一台P2P 模式怎么开单台设备带不动大模型时LocalAI 的 P2P 模式可以解决——多台机器组成一个推理网络共享算力。在一台机器上启动local-ai run --p2p它会生成一个共享 token其他设备凭这个 token 加入网络并自动互相发现无需中心化服务器。两种玩法federated 模式把不同请求分摊到不同机器上worker 模式则把一个模型的权重切开、由所有机器共同推理仅限 llama-cpp 兼容模型。WebUI 的 Swarm 页面会直接给出每一步的连接命令P2P 相关实现见 core/p2p/。新手常见的 3 个卡点API 返回 404 model not found请求里的模型名和实际安装的名字不一致或模型还没装完。用curl http://localhost:8080/v1/models核对真实列表。加载模型时进程被系统杀掉内存不够。换更低的量化如用 Q4_K_S 代替 Q8_0、调小context_size纯 CPU 机器建议从 1B-4B 的模型起步。macOS 上应用打不开官方 DMG 没有 Apple 签名安装后执行sudo xattr -d com.apple.quarantine /Applications/LocalAI.app解除隔离。想扩展功能时注意llama.cpp、vLLM、whisper.cpp 等 60 多个后端以独立 OCI 镜像按需拉取用到哪个才下载哪个不会白装一堆用不上的东西后端目录入口在 backend/。后端与硬件的完整兼容性表格、分布式部署细节见官方文档 localai.io安装或使用中的问题可以去项目 Discord 社区提问。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考