前言李彦宏说说开源大模型不如闭源但是阿里好像不这么想。Qwen大模型表示性能和开源我都要了最近被国内外网友催更的Qwen大模型发布了V2版本。今天就一起看看这次的升级重点并手把手教你如何自己部署一套Qwen2然后大家就可以自己开始使用探索了。Qwen2就在6月7日阿里云重磅发布全球性能最强的开源模型Qwen2-72B从官方发布的技术Blog中可以看到Qwen2-70B在十多个权威测评榜单中得分都超过了Llama3-70B也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。可以说目前Qwen已经成为除Llama外全球开发者的另一主流选项。所有人均可在魔搭社区和Hugging Face免费下载通义千问最新开源模型。Qwen2这次大幅提升了代码、数学、推理、指令遵循、多语言理解等能力这里总结几个 qwen2突出的方面代码和数学在这方面Qwen的表现一直不错这次qwen2更近一步刷新历史成绩。长文本在长文本方面Qwen2-72B-Instruct能够完美处理128k上下文长度内的信息安全在安全方面根据给出的测试数据Qwen2-72B-Instruct模型在安全性方面与GPT-4的表现相当。部署教程开源大模型最大的好处就是可以自己部署来玩那我就来实际部署Qwen2运行一下。1、本地部署首先我们先来看本地部署有条件的话当然是要本地跑一跑啦。开始前首先要确认一下自己的硬件配置根据自己的情况来选择合适的模型。本地运行我选择的工具是Ollama之前我的视频中也给大家介绍这款工具基本下载安装很简单可以参考一下。接下来我们准备下载qwen2模型在ollama的models里直接搜qwen就能找到Qwen2的模型。这里我们进入qwen2之后可以看到有很多的相关说明包括模型的不同版本选择还有一些参考的测评分数。我的机器只能选择7B的模型这里选7B然后复制命令ollama run qwen2:7b再打开一个终端直接运行即可。之前的发ollama文章的时候API功能没有说明这里给大家介绍一下。最新的版的Ollama启动模型后会自动带有API服务可以通过以下指令访问刚刚部署好的qwen2。curlhttp://localhost:11434/api/generate-d {model:qwen2:7b,prompt:Why is the sky blue?,stream:false}使用curl或者API工具的时候记得加上streamfalse的参数来关闭流式返回。如果想通过代码使用API的可以使用Ollama推出的SDK比如Ollama.js使用也很简单先通过npm安装然后就可以在代码中使用了。npm i ollama简单试了一下我本地的16G内存可以跑得动但速度确实就一般了。对于一般人来说自己在本地组大显存比较麻烦所以我也给大家带来一套云上部署的参考毕竟云上资源的优势就是随用随启。2、云上部署云上部署的话首推是用阿里云提供的大模型服务平台百炼这样你就不需要再从头一点点的搞配置了。进入百炼平台选择模型中心-模型部署-部署新模型之后选择合适的模型进行部署。因为目前qwen2模型还没有上来这里就先用千问max为例选择后付费的模式。部署所需的费用点击确认后系统将开始部署系统将在部署成功后开始计费。对于部署模型的收费情况可以参考这里。https://help.aliyun.com/document_detail/2586397.html等待部署完成后我们就可以使用自己的在线大模型了。其实如果是想调用Qwen2的能力最建议的方式是通过API来使用这是最经济的方式可以省下部署资源的费用。本地和云上对比这里我将本地部署和云上部署做一个简要的对比。本地部署优势可控性强、如果已经有了基础硬件那么没有成本。但是需要有一些动手能力。云上部署优势云上使用首推的是使用API第一如果考虑综合的硬件投入实际成本是更低的。第二不用考虑环境和配置上手容易。当然对应的缺点是需要公网。举个例子Qwen-72B开源模型、每月1亿token用量为例在阿里云百炼上直接调用API每月仅需600元如果是自己本地部署前期投入大家自己心里有数。如果企业级的选择尤其是初创企业那么更建议从云上开始毕竟自己的业务才是核心。Qwen2实测反馈此前Qwen1.5就在各大权威榜单和大模型竞技场中超越了国内几乎所有大模型无论是开源还是闭源。而这次发布的Qwen2据说性能又有大幅提升其中Qwen2-72B的性能尤其优越。本次发布的所有模型都能够支持30多国语言除了中文、英文之外还增加了27种语言相关的高质量数据提升了模型的多语言能力。Qwen2所有尺寸模型都使用了GQA分组查询注意力机制以便让用户体验到GQA带来的推理加速和显存占用降低的优势。Qwen2还增大了上下文长度支持Qwen2-72B-Instruct能够完美处理128k上下文长度内的信息抽取任务。国内外的开发者都热情高涨更有网友实测Qwen2在医学术语、翻译方面更准确并且编程和推理能力更强海外的评价这么高那么我们也来自己试一试这里为了好看我用了在线的qwen模型。首先是文本生成的能力。不得不说这段确实很有《红楼梦》的味道妥妥的满分作文。再来试试在文本方面的创造力Qwen2不但写出了诗还对诗的含义进行了解释。自从网上弱智吧的测试火了之后「弱智吧」就成了检测大模型能力的一项重要指标。下面测试一下Qwen2会不会被弱智吧的问题给绕进去。从上面图片可以看出来Qwen2不但给出了正确答案还给出很棒的建议。总结随着美国对于大模型开源项目的限制加码llama系列未来还能否随心所欲地使用存在疑问但最近国产大模型的不断发展也让我们看到了希望尤其是这次Qwen2的发布似乎更让我们找到了答案。最后的最后感谢你们的阅读和喜欢作为一位在一线互联网行业奋斗多年的老兵我深知在这个瞬息万变的技术领域中持续学习和进步的重要性。为了帮助更多热爱技术、渴望成长的朋友我特别整理了一份涵盖大模型领域的宝贵资料集。这些资料不仅是我多年积累的心血结晶也是我在行业一线实战经验的总结。这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习相信它们一定能为你提供实质性的帮助。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】