科技飞速发展的今天,操作系统作为计算机系统的灵魂,其每一次的更新与变革都牵动着无数用户的心弦。近日,开源操作系统deepin迎来了一次重大更新,这次更新不仅在性能上进行了全面优化,更在AI智能化方面迈出了划时代的步伐:内置AI助理,并成功兼容多个千亿级大模型,为用户带来了前所未有的智能操作体验。
为了让deepin和UOS AI变得更开放、更强大,支持更多的大模型,我们开放了UOS AI的模型接入接口,所有OpenAI接口格式的大模型均可以接入到UOS AI,你可以根据自身需求,自行接入自己喜欢的大模型,让UOS AI成为更个性化的智能伙伴。为了让更多用户了解如何配置专属模型,本篇文章将详细介绍:
1. UOS AI如何接入在线模型(例如月之暗面和智谱)
2. UOS AI如何接入本地模型(例如使用Ollama运行本地模型)
UOS AI 如何接入在线模型
目前,UOS AI 1.3.0版已在deepin V23 RC2应用商店发布,新版支持用户添加自定义模型。
接入条件
UOS AI的自定义模型的接口规范为OpenAI的/v1/chat/completions。因此只有提供了OpenAI兼容接口的模型服务才可以被添加到UOS AI中使用。
接入在线模型
接下来介绍在线模型的添加方式:
一、月之暗面
01:获取API
打开月之暗面的API说明,获取:模型名称和Domain(请求地址):https://platform.moonshot.cn/docs/api/chat#api-%E8%AF%B4%E6%98%8E
请求地址:https://api.moonshot.cn/v1/chat/completions
模型名称:moonshot-v1-8k
Tips:UOS AI会在请求地址中自动添加/chat/completions,因此这里填入的地址需要在月之暗面的地址去掉/chat/completions部分。实际填入为:https://api.moonshot.cn/v1
02:获取API Key
登录月之暗面控制台:https://platform.moonshot.cn/console/api-keys
进入【API Key管理】,点击右侧“创建”按钮,生成API Key:
在此界面复制生成的密钥。
03:UOS AI添加模型
进入UOS AI设置界面,添加模型。在模型添加界面的模型选项中切换为“自定义”。然后填入以下信息:
最终的填写效果是:
点击确认,完成校验后即可在对话窗口中使用。
二、智谱
01:获取API
进入智谱AI开发平台,查询模型API:https://open.bigmodel.cn/dev/api#glm-4
请求地址:https://open.bigmodel.cn/api/paas/v4/chat/completions
模型名称:glm-4
02:获取API Key
进入智谱《API keys》界面:https://open.bigmodel.cn/usercenter/apikeys
点击右侧《添加新的API key》按钮,并在生成的新key后点击复制按钮。
03:UOS AI添加模型
进入UOS AI设置界面,添加模型,在模型添加界面的模型选项中切换为“自定义”。然后填入以下信息:
点击确认,完成校验后即可在对话窗口中使用。
三、其他模型
其他兼容OpenAI API接口的在线模型皆可用以上方法接入。
下面为部分大模型厂商的API说明:
UOS AI 如何接入本地模型
Ollama
Ollama是一个开源的大语言模型本地部署工具,通过它可以方便的在本机部署开源大模型。
01:安装
Ollama仓库地址:https://github.com/ollama/ollama
按照教程在deepin V23中安装ollama程序。执行以下命令,直接安装ollama。
curl -fsSL https://ollama.com/install.sh | sh
Tips:编译安装、Docker安装请参阅Github中说明。
ollama 服务地址:127.0.0.1:11434
02:运行
安装完成后在终端运行模型,如Qwen2的7B模型:ollama run qwen2:7b
模型第一次运行会自动下载,根据网络情况需要等待一会儿。
03:模型仓库
Ollama模型仓库:https://ollama.com/library
可根据自身需要选择模型。
04:UOS AI配置
Ollama启动模型后,即可在UOS AI中添加该模型。
① 进入UOS AI的模型添加界面,选择模型类型为自定义。
②账号名称:根据需要随意填写。
③API Key:Ollama未开启鉴权,可以随意填写。
④模型名:填写Ollama运行的模型名称,如前文运行的是qwen2:7b,那么这里就填qwen2:7b。
⑤模型请求地址:
Ollama默认服务地址为127.0.0.1:11434,
其OpenAI的兼容接口为http://127.0.0.1:11434/v1/chat/completions
因此在UOS AI中只需填入:http://127.0.0.1:11434/v1
完成添加后即可在UOS AI中与本地模型对话。
目前,deepin UOS AI已覆盖90%主流开源大模型与AI框架,随着模型接口的开放,用户将在UOS AI中体验到更多优秀的国内外大模型。未来,deepin将持续探索大模型与AI原生应用,自然语言交互兼容性,数据安全性等多个技术点,推动人工智能与基础软件融合,为产业发展带来革命性变化。
附录:
(1)deepin 历史版本镜像(含 deepin V15):https://distrowatch.com/index.php?distribution=deepin
未经允许不得转载:岩猫星空网 » deepin UOS AI 如何配置自定义模型