Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

如何添加ollama的embedding渠道 #1959

Open
5 tasks done
berlin2123 opened this issue Dec 2, 2024 · 1 comment
Open
5 tasks done

如何添加ollama的embedding渠道 #1959

berlin2123 opened this issue Dec 2, 2024 · 1 comment
Labels
bug Something isn't working

Comments

@berlin2123
Copy link

例行检查

  • 我已确认目前没有类似 issue
  • 我已确认我已升级到最新版本
  • 我已完整查看过项目 README,尤其是常见问题部分
  • 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

问题描述
已经可以通过OneAPI添加ollama的chat渠道,并且在oneapi的渠道页面点击“测试”能获得正常反馈与回应。
但是当通过相同的方法添加ollama的embedding渠道后,点击“测试”,显示错误状态码是400。
然后,通过 systemctl status ollama.service 查看日志,发现,oneapi访问ollama时,使用的是错误的地址 http://ip:port/api/chat,而不是正确的http://ip:port/api/embeddings,因而才显示这种400错误。

那么,如何才能正确配置OneAPI,使其使用正确的api地址去访问ollama的服务?搜索过oneapi的代码,发现早就支持ollama的embedding渠道了啊,为啥添加不成功呢?

复现步骤
1,先安装模型

ollama pull shaw/dmeta-embedding-zh
# 确认该模型可访问
curl http://172.22.0.1:11434/api/embeddings -d '{"model": "shaw/dmeta-embedding-zh", "prompt": "天空是灰色的"}'

2,再在oneapi中添加渠道(见截图),再测试

预期结果
oneapi访问ollama时,应该使用http://ip:port/api/embeddings

相关截图
W0{N2H@60J(U __IWYA7 ZG

@berlin2123 berlin2123 added the bug Something isn't working label Dec 2, 2024
@SDAIer
Copy link

SDAIer commented Dec 28, 2024

0.6.8没测过。0.6.7ok。
测试只支持chat模式,但是可以正常调用向量模型进行向量化。

0.6.9 bge ok,但是m3e向量模型报错,0.6.7ok

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working
Projects
None yet
Development

No branches or pull requests

2 participants