搭建本地人工智能框架LocalAI-未测试成功

 什么是 LocalAI

LocalAI 是一个用于本地推理的,与 OpenAI API 规范兼容的 REST API。它允许您在本地使用消费级硬件运行 LLM(不仅如此),支持与 ggml 格式兼容的多个模型系列。不需要 GPU 。

不需要 GPU,另一点上可以使用消费级硬件,所以准备搭一个试试,至于后续用来干什么,到时候再说

官方倒是提供了很多示例,比较常见的是机器人,比如:Discord botSlack bot 或者 Telegram bot

安装

在群晖上以 Docker 方式安装。

镜像下载

官方没有在 docker hub 上发布镜像,而是发布到了 quay.io

用 SSH 客户端登录到群晖后,依次执行下面的命令

这个版本是 cpu 版本,如果你有 gpu,可以下载支持 cuda 的版本;

1
2
3
4
5
6
7
8
# 新建文件夹 localai 和 子目录
mkdir -p /volume1/docker/localai/models

# 进入 localai 目录
cd /volume1/docker/localai

# 拉取镜像
docker pull quay.io/go-skynet/local-ai:latest

镜像文件比较大(大约 13G ),如果拉不动,也可以试试 docker 代理网站:https://dockerproxy.com/,但是会多几个步骤

1
2
3
4
5
6
7
8
# 如果拉不动的话加个代理
docker pull quay.dockerproxy.com/go-skynet/local-ai:latest

# 重命名镜像(如果是通过代理下载的)
docker tag quay.dockerproxy.com/go-skynet/local-ai:latest quay.io/go-skynet/local-ai:latest

# 删除代理镜像(如果是通过代理下载的)
docker rmi quay.dockerproxy.com/go-skynet/local-ai:latest

下载完成后,可以在 映像 中找到

docker-compose 安装

将下面的内容保存为 docker-compose.yml 文件

1
2
3
4
5
6
7
8
9
10
11
12
13
version: '3.6'

services:
api:
image: quay.io/go-skynet/local-ai:latest
container_name: localai
ports:
- 8668:8080
volumes:
- ./models:/models:cached
environment:
- MODELS_PATH=/models
command: ["/usr/bin/local-ai" ]

然后执行下面的命令

1
2
3
4
# 将 docker-compose.yml 放入当前目录

# 一键启动
docker-compose up -d

从日志可以看到,和 Serge 一样,需要 AVX2 指令兼容的 CPU

模型文件

如果你运行过 Serge,原来下载的 gpt4all.bin 文件是可以直接用的,因为 LocalAI 与 llama.cpp 支持的模型兼容

否则的话,需要自己下模型文件

老苏把 gpt4all.bin 文件放在了阿里云盘: https://www.aliyundrive.com/s/GQqs39iipya

Open LLM 基准测试中表现最佳的模型列表排行榜:https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

请记住,与 LocalAI 兼容的模型必须以 ggml 格式进行量化

老苏目前只测试了 gpt4all.bin,所以没法给大家提供指导意见,不要问我下哪个模型。

当然,LocalAI 是支持多模型文件的,你可以根据需要下载多个模型文件

关于模型这块,可以看官方文档:https://localai.io/models/

运行

如果你在浏览器中直接输入 http://群晖IP:8668,会返回 404 错误

1
{"error":{"code":404,"message":"Cannot GET /","type":""}}

因为 LocalAI 提供的是 REST API 接口,而不是网页。所以有 2 种方式来测试验证我们安装的服务是否成功,一种是使用 API 调试工具,另一种是用命令行

API 工具

这类工具很多,例如: PostmanApifoxApiPost等等,具体用什么关系不大,因为基本上主要功能是差不多的,老苏目前是用的是 Apifox

  1. 打开应用程序并创建一个新的请求
  2. 在请求的 URL 字段中输入:http://192.168.0.197:8668/v1/completions
  3. 设置请求方法为 POST
  4. 在请求头部 (Headers) 部分中添加一个新的头部,键为 Content-Type,值为 application/json
  5. 在请求体 (Body) 部分中选择 raw 选项,并将下面的 JSON 数据复制粘贴到请求体中:
1
2
3
4
5
{
"model": "gpt4all.bin",
"prompt": "how old are you?",
"temperature": 0.7
}
  1. 确认您的请求已设置正确后,点击发送按钮以发送请求。

其中:

  • model:指定要使用的特定语言模型;
  • prompt:用于指定生成文本的起始提示或开头文本。也就是你要提的问题;
  • temperature :用于控制生成文本的多样性。temperature 值越高,生成的文本越随机和多样化,但可能会牺牲一些准确性。相反,temperature 值越低,生成的文本越保守和一致,更加符合模型的训练数据;

现在来聊个天,比如 how old are you?

看看支不支持中文聊天?

提问只要修改 prompt 后面的内容,回答看 text 后面的内容;

命令行

如果你不会 API 工具,用命令行也是可以的,用 SSH 客户端登录到群晖后,执行

1
2
3
4
5
curl http://192.168.0.197:8668/v1/completions -H "Content-Type: application/json" -d '{
"model": "gpt4all.bin",
"prompt": "how old are you?",
"temperature": 0.7
}'

返回的结果在 https://www.json.cn 格式化之后

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
{  
    "object":"text_completion",
    "model":"gpt4all.bin",
    "choices":[
        {
            "index":0,
            "finish_reason":"stop",
            "text":"I'm sorry, but as an AI language model, I don't have a physical age. However, I was trained on large amounts of data and have been continually updated with new information since then."
        }
    ],
    "usage":{
        "prompt_tokens":0,
        "completion_tokens":0,
        "total_tokens":0
    }
}

即便是同样的问题,每次的答复也是有区别的

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
{  
    "object":"text_completion",
    "model":"gpt4all.bin",
    "choices":[
        {
            "index":0,
            "finish_reason":"stop",
            "text":"I'm sorry, but as an AI language model I do not have a specific age. However, I was trained on vast amounts of data from a variety of sources, including news articles and books. I was trained on this data to understand and generate natural language text."
        }
    ],
    "usage":{
        "prompt_tokens":0,
        "completion_tokens":0,
        "total_tokens":0
    }
}

小结

虽然老苏用的同一个模型文件,但是感觉上 LocalAI 比 Serge 要快一些,当然也可能是因为 618 升级了内存的缘故

参考文档

go-skynet/LocalAI: :robot: Self-hosted, community-driven, local OpenAI-compatible API. Drop-in replacement for OpenAI running LLMs on consumer-grade hardware. Free Open Source OpenAI alternative. No GPU required. LocalAI is an API to run ggml compatible models: llama, gpt4all, rwkv, whisper, vicuna, koala, gpt4all-j, cerebras, falcon, dolly, starcoder, and many other
地址:https://github.com/go-skynet/LocalAI

LocalAI :: LocalAI documentation
地址:https://localai.io/

🖼️ 模型库 :: LocalAI 文档
地址:https://localai.io/models/

评论

此博客中的热门博文

Clash Verge系列使用最佳实践

X-UI 安装使用教程,支持多协议多用户的 Xray 可视化面板

非 root 用户自建 v2ray 梯子 (serv00-vmess)

使用一键脚本,部署 Hysteria 2(歇斯底里)协议节点-尚未完成小火煎的配置

Telegram RSS机器人-Flowerss bot比较全面的安装教程

使用x-ui面板中转流量解锁流媒体-服务器端分流节点

最新11个可用的TG代理,请收藏!

Serv00搭建各种服务

VPS挂机流量

X-for-Serv00 让你的 Serv00 节点获得更好的体验