项目简介: FreeAskInternet是一款完全免费、私密且本地运行的搜索聚合器和答案生成器,即问答AI工具,采用LLM技术,无需GPU。
用户可直接提出问题,该项目利用searxng进行多引擎搜索,将搜索结果与ChatGPT3.5 LLM结合,生成答案。
所有过程均在本地运行,无需GPU或OpenAI或Google API密钥。
该项目于4月初开源,短短数天内获得了5.6k star,并持续增长。
功能特性:
- 完全免费,无需API密钥
- 完全本地,无需GPU,适用于任何计算机
- 完全私密,所有操作均在本地运行,使用定制LLM
- 无需LLM硬件,使用免费ChatGPT3.5/Qwen/Kimi/ZhipuAI(GLM) API,无需API密钥
- 支持自定义LLM(如ollama、llama.cpp)
- 使用Docker Compose快速部署和简便操作
- 网页和移动设备友好界面,旨在增强Web搜索的AI聊天功能,可轻松从任何设备访问
工作原理:
- 用户通过FreeAskInternet UI界面(本地运行)输入问题,调用searxng(本地运行)在多个搜索引擎上进行搜索
- 爬取搜索结果链接内容,并传递给ChatGPT3.5/Kimi/Qwen/ZhipuAI/ollama(使用自定义LLM),请LLM根据这些内容作为参考回答用户问题
- 将答案流式传输到Chat UI
- 项目支持自定义LLM设置,理论上支持无限的LLM
项目安装部署: 部署方式简单,推荐使用docker
<code>git clone https://github.com/nashsu/FreeAskInternet.git cd ./FreeAskInternet docker-compose up -d</code>
然后在浏览器中打开<a>http://localhost:3000即可访问</a>
项目展示:
首页
基于搜索的聊天对话
相关设置界面,支持ChatGPT3.5/Qwen/Kimi/ZhipuAI(GLM) API,自定义LLM,本地ollama等模型
关于如何获取和设置Kimi/Qwen/ZhipuAI的API,建议参考项目:https://github.com/LLM-Red-Team/kimi-free-api
关于如何使用自定义的LLM,如ollama:
- 启动ollama服务
<code>export OLLAMA_HOST=0.0.0.0 ollama serve</code>
- 在设置中选择自定义模型,输入模型地址
- 开始使用
FreeAskInternet是一款集免费、本地、隐私、强大搜索和智能问答于一身的实用工具,打破了传统搜索引擎的局限,让用户更高效地获取信息。
更多项目细节功能,请自行查看项目地址:https://github.com/nashsu/FreeAskInternet
© 版权声明
THE END
暂无评论内容