开箱即用的AI软件 (聊天/写作/作曲) RWKV Runner v1.7.8 开源商用大语言模型

图片[1]-开箱即用的AI软件 (聊天/写作/作曲) RWKV Runner v1.7.8 开源商用大语言模型-歪果不求仁

RWKV Runner 由歪果不求仁(www.wgbqr.com)整理发布. RWKV Runner 是 RWKV 模型的管理和启动工具,由 RWKV 开源社区成员 josStorer 开发,是一个开源且允许商用的大语言模型,本工具旨在降低大语言模型的使用门槛,做到人人可用,本工具提供了全自动化的依赖和模型管理,你只需要直接点击运行,跟随引导,即可完成本地大语言模型的部署,工具本身体积极小 (不含依赖项),只需要一个exe即可完成一键部署。此外,本工具提供了与OpenAI API完全兼容的接口,这意味着你可以把任意ChatGPT客户端用作RWKV的客户端,实现能力拓展,而不局限于聊天。

开箱即用的 AI 功能
易于使用的聊天、写作、作曲交互等 AI 功能,支持聊天预设,支持 MIDI 硬件输入及音轨编辑等功能

用户友好的 UI 设计
易于理解和操作的参数配置,丰富的操作引导提示;支持多语言;支持主题切换;支持自动更新

丰富的内置功能
内置 WebUI 选项,可一键启动 Web 服务,共享硬件资源,内置模型转换工具、下载管理和远程模型检视、一键 LoRA 微调 (仅限 Windows)

强大的兼容性
预设多级显存配置,几乎在各种电脑上工作良好。(通过配置页面将 Strategy 切换到 CPU / WebGPU,可以在 AMD、Intel 等显卡上运行)

前后端分离架构
用户可以在服务器部署 backend-python,然后将此程序仅用作客户端,也允许单独部署前端服务,或后端推理服务,或具有 WebUI 的后端推理服务

适用于 Windows 7 或更高版本(64位)
推荐显存 4G 以上或以上更高
运行内存 16G 以上或以上更高

准备环境
首次打开 RWKV Runner 软件时, 点击 "运行" 按钮, 软件会提示你缺失 "Python" 等依赖项
请跟随软件的引导提示点击 "安装", RWKV Runner 会为你自动下载并安装所需的文件
其中 models 文件夹用于存放 RWKV 模型, RWKV Runner 默认从此文件夹读取本地 RWKV 模型
对于 Mac 和 Linux 用户, 请手动安装 Python3.10 (通常最新的系统已经内置了) 可以在设置中指定使用的 Python 解释器

模型配置
完成启动环境的配置后,我们可以开始下一步:配置、下载并运行 RWKV 模型
为了照顾新手用户,RWKV Runner 内置了一系列预设模型配置,以降低使用难度

预设配置
每个模型配置名称的规则,依次代表着:设备-所需显存/内存-模型规模-模型语言
例如 GPU-8G-3B-CN,表示该配置用于 Nvidia 显卡,需要 8G 显存,模型规模为 30 亿参数,使用的是中文模型
模型的规模越大,理论上的任务效果会更好,但对设备的内存、显存等性能要求也会更高
如果你使用 NVIDIA(英伟达)的显卡,可以选择“GPU” 前缀的预设模型配置
如果你使用的是 AMD 或 Intel 的显卡,请选择 “CPU” 或“AnyGPU” 前缀的预设模型配置
选择一项预设的模型配置后,点击右下角的 运行 按钮,即可运行对应的模型
如果你尚未拥有该预设配置所需的 RWKV 模型,请点击弹窗的“下载”按钮,系统将自动为你下载对应的模型文件
如果模型下载失败或无响应,请在右上角勾选使用Huggingface镜像源

无需安装

开箱即用的AI软件 (聊天/写作/作曲) RWKV Runner v1.7.8 开源商用大语言模型
此内容为付费资源,请付费后查看
10积分
获取后永久有效
保证不限速下载
最新版本1.7.8
更新日期2024.04.13
系统要求Windows 7 或更高版本(64位)
语言支持简体中文 多国语言
下载遇到问题?可联系客服或留言反馈
付费资源
© 版权声明
THE END
喜欢就支持一下吧
点赞208 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容