💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。
- 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老
- 导航
- 檀越剑指大厂系列:全面总结 java 核心技术,jvm,并发编程 redis,kafka,Spring,微服务等
- 常用开发工具系列:常用的开发工具,IDEA,Mac,Alfred,Git,typora 等
- 数据库系列:详细总结了常用数据库 mysql 技术点,以及工作中遇到的 mysql 问题等
- 新空间代码工作室:提供各种软件服务,承接各种毕业设计,毕业论文等
- 懒人运维系列:总结好用的命令,解放双手不香吗?能用一个命令完成绝不用两个操作
- 数据结构与算法系列:总结数据结构和算法,不同类型针对性训练,提升编程思维,剑指大厂
非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨
博客目录
- 方案 1: 预下载文件并本地加载
- 方案 2: 本地静态文件加载
- 方案 3: 环境变量配置
- 方案 4: 使用镜像服务器
- 方案 5: 替换或降级模型
在离线环境中解决 tiktoken 无法加载编码文件的问题，可以考虑以下几种方案：
方案 1: 预下载文件并本地加载
-
在线下载所需的编码文件：在有网络连接的环境下，先运行代码，确保
cl100k_base或其他所需编码文件已被下载。通常这些文件会缓存到本地。可以通过tiktoken的源码，找到缓存文件的路径（通常是.cache或其他缓存目录）。 -
将文件拷贝到离线环境：把下载好的缓存文件复制到离线环境的相同目录结构中，确保离线环境的代码能够读取这些文件。
-
本地读取文件：在离线环境中，确保代码直接从本地加载这些预缓存的文件，而不是每次都从远程服务器获取。
方案 2: 本地静态文件加载
-
手动下载和存储文件：可以根据
tiktoken的加载逻辑，手动下载cl100k_base编码的 BPE 文件。这些文件通常托管在 OpenAI 的公共服务器上，比如openaipublic.blob.core.windows.net。 -
修改加载路径：在离线环境中，可以修改
tiktoken的源码，直接从本地目录加载编码文件，而不是访问远程 URL。例如，修改tiktoken/load.py文件中的blobpath，将其指向本地存储的路径。
方案 3: 环境变量配置
部分库允许通过环境变量或配置文件来指定缓存文件的位置。可以检查 tiktoken 是否允许通过设置某些环境变量（如 TIKTOKEN_CACHE_DIR）来指定缓存文件的位置，并在本地提前准备好这些文件。
方案 4: 使用镜像服务器
如果无法连接到原始服务器，但可以在公司内部或局域网中搭建镜像服务器，可以尝试在本地设置一个服务器，缓存 OpenAI 提供的文件，并将代码中的 blobpath 指向该服务器。
方案 5: 替换或降级模型
如果只是需要使用不同的模型或编码器，可以考虑使用不依赖远程资源的替代方案，比如使用 gpt2 编码器，或将模型的版本降级为不需要远程依赖的版本。
通过这些方式，可以在离线环境中加载和使用 tiktoken，避免远程资源无法访问的问题。
觉得有用的话点个赞
👍🏻呗。
❤️❤️❤️本人水平有限，如有纰漏，欢迎各位大佬评论批评指正！😄😄😄💘💘💘如果觉得这篇文对你有帮助的话，也请给个点赞、收藏下吧，非常感谢!👍 👍 👍
🔥🔥🔥Stay Hungry Stay Foolish 道阻且长,行则将至,让我们一起加油吧！🌙🌙🌙
