Qwen一键运行包:低配显卡嗨翻角色扮演

上一篇文章详细介绍了阿里开源的国产大语言模型Qwen,而这次的更新更加引人注目,从各个维度来看都表现得非常优秀。

图片[1]-Qwen一键运行包:低配显卡嗨翻角色扮演-山海云端论坛

首先,Qwen的更新拉高了天花板,同时也压低了地平线。虽然720亿参数的版本对大多数人来说仍然是遥不可及的,但18亿的迷你版本却更加亲民,只需2GB显存,即便是上古的750ti显卡也能轻松应对。

为了让用户更加方便地体验Qwen,官方特别推出了一键运行包。在实际测试中,该运行包在3060显卡上加载模型前后分别占用了1.1GB和3.5GB显存,显示出相对低的显存需求。

图片[2]-Qwen一键运行包:低配显卡嗨翻角色扮演-山海云端论坛

除了低显存需求之外,Qwen这次特别强调了“系统指令跟随”功能。通过调整系统指令,用户可以实现角色扮演、语言风格迁移、任务设定以及行为设定等能力。这一功能在先前的72B版本中已经得到验证,角色扮演能力甚至超过了ChatGPT。

尽管1.8B版本的角色扮演能力略显逊色,但同样具备这一功能。作者在GitHub demo中手动添加了系统指令设置功能,使用户能够更加灵活地体验Qwen的强大功能。

图片[3]-Qwen一键运行包:低配显卡嗨翻角色扮演-山海云端论坛

最为方便的是,一键运行包已经包含了所有内容,其中包括18亿参数的模型,用户只需解压并双击运行即可开始体验。该运行包支持Qwen系列的所有模型,用户还可以根据自身显卡性能选择合适的模型进行替换,从18亿量化版到720亿完整版,灵活多变。

用户只需下载模型到本地,将整个模型文件夹放入models文件夹,然后在web_demo.py文件中修改指定行即可完成模型替换。整个过程简单而快捷,方便用户充分发掘Qwen系列模型的潜力。

这个一键运行包的发布,为更多用户提供了便捷、灵活的Qwen模型体验方式。

Qwen一键运行包:低配显卡嗨翻角色扮演-山海云端论坛
隐藏内容,输入密码后查看
在公众号对话框输入:ut23,即可领取
© 版权声明
THE END
喜欢就支持一下吧
点赞9 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容