Sunny's site

ollama API 调用

通过API方式，可以简单调用多个本地大模型，可以进行结果对比。后续可以联系多个大模型，通过协同工作完成相对复杂的任务。

当前比较简单的两种方式进行ollama API调用，使用openai的库，或者使用ollama自己的库。

1、使用OpenAI方式

pip install openai

示例

运行ollama后

from openai import OpenAI
client = OpenAI(
    base_url ="<http://localhost:11434/v1>",
    api_key='ollama',#api_key没用，应该是随便填
)
response = client.chat.completions.create(
  model="gemma:7b",
  messages=[
    {"role": "system", "content": "你的我的问答助手"},
    {"role": "user", "content": "海水里为什么有盐"},
  ]
)
print(response.choices[0].message.content)

2、使用ollama python

pip install ollama

一次性输出
response = ollama.chat(model='qwen:14b', messages=[
    {
        'role': 'user',
        'content': '1990年发生了什么',
    },
])

流式输出
 response2 = ollama.chat(model='llama2-chinese:13b', messages=[
        {"role": "system", "content": "你是我的文字助手，帮我整理材料，格式化文本"},
        {   'role': 'user', 'content': "帮我总结一篇文章"},
    ],
    stream=True,
    )
 for c in response2:
     print(c['message']['content'], end='',flush=True)

root