通过 LiteLLM 使用任意模型

Note

LiteLLM 集成功能处于测试阶段。你可能会遇到一些模型提供商（尤其是规模较小的提供商）的问题。请通过 Github 问题 报告任何问题，我们将尽快修复。

LiteLLM 是一个库，可让你通过单一接口使用 100 多种模型。我们添加了 LiteLLM 集成功能，以便你在 Agents SDK 中使用任意 AI 模型。

设置

你需要确保 litellm 可用。你可以通过安装可选的 litellm 依赖组来实现：

pip install "openai-agents[litellm]"

完成后，你可以在任意 agent 中使用 LitellmModel。

示例

这是一个完整可用的示例。运行时，系统会提示你输入模型名称和 API 密钥。例如，你可以输入： - 模型输入 openai/gpt-4.1，并输入你的 OpenAI API 密钥 - 模型输入 anthropic/claude-3-5-sonnet-20240620，并输入你的 Anthropic API 密钥 - 等等

有关 LiteLLM 支持的完整模型列表，请参阅 litellm 提供商文档。

from __future__ import annotations

import asyncio

from agents import Agent, Runner, function_tool, set_tracing_disabled
from agents.extensions.models.litellm_model import LitellmModel

@function_tool
def get_weather(city: str):
    print(f"[调试] 获取 {city} 的天气")
    return f"{city} 的天气是晴天。"


async def main(model: str, api_key: str):
    agent = Agent(
        name="助手",
        instructions="你仅以俳句形式回复。",
        model=LitellmModel(model=model, api_key=api_key),
        tools=[get_weather],
    )

    result = await Runner.run(agent, "东京的天气如何？")
    print(result.final_output)


if __name__ == "__main__":
    # 首先尝试从参数中获取模型/API 密钥
    import argparse

    parser = argparse.ArgumentParser()
    parser.add_argument("--model", type=str, required=False)
    parser.add_argument("--api-key", type=str, required=False)
    args = parser.parse_args()

    model = args.model
    if not model:
        model = input("请输入 Litellm 的模型名称： ")

    api_key = args.api_key
    if not api_key:
        api_key = input("请输入 Litellm 的 API 密钥： ")

    asyncio.run(main(model, api_key))