本地部署AI引擎

使用APIKey

如果您有自己的大模型的APIKey时，您可以直接从自己机器上联网各厂商进行AI通话。 目前支持使用APIKey的模型列表如下：

• ChatGPT

  • GPT-4o、GPT4-turbo、GPT3.5-turbo

• 文心一言

  • 文心一言3.5、文心一言4.0、ERNIE-Speed-128K、ERNIE-Speed-8K

• 阿里千问

  • qwen-turbo、qwen-plus、qwen-max-longcontext、qwen2

• Llama

  • Llama3、Llama2

• Kimi

  • moonshort-v1

• DeepSeek

• 自定义(OpenAI协议)

  • 如果您的APIKey是兼容OpenAI的ChatGPT协议的,你只需填写API的该网站的链接地址即可。

设置方法如下：

• OfficeAI->设置->大模型设置->开启本地部署

• 选择“APIKey”->选择“大模型”->选择“模型名”

• 输入APIKey、API地址等相关内容

示例：通过自定义APIKey使用xAI

xAI是埃隆·马斯克（Elon Musk）创办的一家AI公司，旨在开发与人工智能（AI）相关的技术和产品。你可以通过自定义APIKey在OfficeAI中使用其服务

• 登录 “ https://console.x.ai/” 网站申请的APIKey

  

• OfficeAI->设置->大模型设置->开启本地部署

• 选择“APIKey”->“大模型”中选择“自定义(OpenAI协议)”

• 在API地址中输入 “https://api.x.ai”

• 在API_Key中输入在 “ https://console.x.ai/” 网站申请的APIKey

• 刷新模型列表 并选择“grok-beta”

  

• 点击“保存”,您就可以在OfficeAI中使用xAI大模型了

  

使用本地大模型

如果您想使用您自己的私有模型,您可以在本地安装 Ollama、LMStudio等本地大模型框架。这样可以在OfficeAI中使用自己的llama3、qwen3、Phi-3或者您自己微调的大模型。 设置方法如下：

• OfficeAI->设置->大模型设置->开启本地部署

• 选择“本地”->选择“框架”->点击“刷新模型列表”->选择“模型名”

• 保存

本地大模型服务

开启本地大模型后,OfficeAI会在本地启动一个服务与Ollama和LMStuido通信.您在右下角的图盘可以看到他,单击托盘图标,可看到本地大模型的运行状态.