OpenAI Chat
Spring AI 支持 OpenAI 提供的 AI 语言模型 ChatGPT。ChatGPT 已成为激发人们对 AI 驱动的文本生成兴趣的重要因素,这要归功于它创建的行业领先的文本生成模型和嵌入式模型。
Prerequisites
你需要使用 OpenAI 创建一个 API 才能访问 ChatGPT 模型。在 OpenAI signup page 创建一个帐户并在 API Keys page 上生成令牌。Spring AI 项目定义了一个名为 spring.ai.openai.api-key
的配置属性,你应将其设置为从 openai.com 获得的 API Key
的值。导出环境变量是设置该配置属性的一种方式:
export SPRING_AI_OPENAI_API_KEY=<INSERT KEY HERE>
Add Repositories and BOM
Spring AI 工件发布在 Spring 里程碑和快照存储库中。请参考 Repositories 部分将这些存储库添加到你的构建系统。
为了帮助进行依赖项管理,Spring AI 提供了一个 BOM(物料清单)以确保在整个项目中使用一致版本的 Spring AI。有关将 Spring AI BOM 添加到你的构建系统的说明,请参阅 Dependency Management 部分。
Auto-configuration
Spring AI 为 OpenAI 聊天客户端提供了 Spring Boot 自动配置。要启用它,请将以下依赖项添加到项目的 Maven pom.xml
文件中:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>
或添加到 Gradle build.gradle
构建文件中。
dependencies {
implementation 'org.springframework.ai:spring-ai-openai-spring-boot-starter'
}
|
Chat Properties
Retry Properties
前缀 spring.ai.retry
用作属性前缀,让您可以配置 OpenAI 聊天客户端的重试机制。
Property | Description | Default |
---|---|---|
spring.ai.retry.max-attempts |
最大重试次数。 |
10 |
spring.ai.retry.backoff.initial-interval |
指数退避策略的初始休眠持续时间。 |
2 sec. |
spring.ai.retry.backoff.multiplier |
Backoff interval multiplier. |
5 |
spring.ai.retry.backoff.max-interval |
Maximum backoff duration. |
3 min. |
spring.ai.retry.on-client-errors |
如果为 false,则抛出 NonTransientAiException,并且不尝试针对 |
false |
spring.ai.retry.exclude-on-http-codes |
不应触发重试的 HTTP 状态代码列表(例如,抛出 NonTransientAiException)。 |
empty |
Connection Properties
spring.ai.openai
前缀用作可让你连接到 Open AI 的属性前缀。
Property | Description | Default |
---|---|---|
spring.ai.openai.base-url |
连接到的 URL |
[role="bare"]https://api.openai.com |
spring.ai.openai.api-key |
The API Key |
- |
Configuration Properties
前缀 spring.ai.openai.chat
是一个属性前缀,它让您可以配置 OpenAI 的聊天客户端实现。
Property | Description | Default |
---|---|---|
spring.ai.openai.chat.enabled |
Enable OpenAI chat client. |
true |
spring.ai.openai.chat.base-url |
可选,覆盖 spring.ai.openai.base-url 以提供特定于聊天的 URL |
- |
spring.ai.openai.chat.api-key |
可选,覆盖 spring.ai.openai.api-key 以提供特定于聊天的 API 密钥 |
- |
spring.ai.openai.chat.options.model |
这是要使用的 OpenAI 聊天模型 |
|
spring.ai.openai.chat.options.temperature |
用于控制生成完成内容的明显创造力的采样温度。较高的值会使输出更随机,而较低的值会使结果更集中,更确定。不建议为同一个补全请求修改 temperature and top_p,因为这两个设置交互作用难以预测。 |
0.8 |
spring.ai.openai.chat.options.frequencyPenalty |
-2.0 到 2.0 之间的值。正值根据其在迄今为止的文本中的现有频率对新令牌进行处罚,降低模型逐字重复同一行的可能性。 |
0.0f |
spring.ai.openai.chat.options.logitBias |
修改指定令牌出现在完成中的可能性。 |
- |
spring.ai.openai.chat.options.maxTokens |
在聊天完成中生成的最大令牌数。输入令牌和生成令牌的总长度受模型的上下文长度限制。 |
- |
spring.ai.openai.chat.options.n |
要为每个输入信息生成的聊天完成选项数。请注意,您将根据所有选项中生成的令牌数付费。保持 n 为 1 以最小化成本。 |
1 |
spring.ai.openai.chat.options.presencePenalty |
-2.0 到 2.0 之间的值。正值根据新令牌是否出现在迄今为止的文本中对新令牌进行处罚,增加模型谈论新主题的可能性。 |
- |
spring.ai.openai.chat.options.responseFormat |
指定模型必须输出的格式的对象。设置为 |
- |
spring.ai.openai.chat.options.seed |
此功能处于 Beta 版。如果指定,我们的系统会尽最大努力确定性地进行抽样,以便使用相同种子和参数的重复请求应返回相同的结果。 |
- |
spring.ai.openai.chat.options.stop |
最多 4 个序列,API 将停止生成更多令牌。 |
- |
spring.ai.openai.chat.options.topP |
一种替代温度采样的方法被称为核采样,其中模型会考虑具有 top_p 概率质量的令牌的结果。因此,0.1 意味着仅考虑包含前 10% 概率质量的令牌。我们通常建议更改此设置或温度,但不能同时更改两者。 |
- |
spring.ai.openai.chat.options.tools |
模型可能调用的工具列表。目前,仅支持将函数作为工具。使用此设置提供模型可为其生成 JSON 输入的函数列表。 |
- |
spring.ai.openai.chat.options.toolChoice |
控制模型调用的(如果有)函数。none 意味着模型不会调用函数,而是生成一条消息。auto 意味着模型可以在生成消息或调用函数之间进行选择。通过 {"type: "function", "function": {"name": "my_function"}} 指定特定函数将强制模型调用该函数。当没有函数时,none 为默认值。如果存在函数,则 auto 为默认值。 |
- |
spring.ai.openai.chat.options.user |
一个表示最终用户的独特标识符,可帮助 OpenAI 监控和检测滥用。 |
- |
spring.ai.openai.chat.options.functions |
按其名称标识的函数列表,以在单提示请求中启用函数调用。具有这些名称的函数必须存在于 functionCallbacks 注册表中。 |
- |
您可以覆盖 |
以 |
Chat Options
OpenAiChatOptions.java 提供模型配置,如要使用的模型、温度、频率惩罚等。
在启动时,默认选项可以使用 OpenAiChatClient(api, options)
构造函数或 spring.ai.openai.chat.options.*
属性进行配置。
在运行时,可以通过向 Prompt
调用中添加新的请求特定选项来覆盖默认选项。例如,覆盖特定请求的默认模型和温度:
ChatResponse response = chatClient.call(
new Prompt(
"Generate the names of 5 famous pirates.",
OpenAiChatOptions.builder()
.withModel("gpt-4-32k")
.withTemperature(0.4)
.build()
));
|
Function Calling
你可以使用 OpenAiChatClient 注册自定义 Java 函数,并让 OpenAI 模型智能地选择输出一个 JSON 对象,该对象包含用于调用一个或多个已注册函数的参数。这是一种将 LLM 功能与外部工具和 API 结合起来的强大技术。阅读更多有关 OpenAI Function Calling 的信息。
Sample Controller (Auto-configuration)
Create 一个新的 Spring Boot 项目,并将 spring-ai-openai-spring-boot-starter
添加到您的 pom(或 gradle)依赖项中。
在 src/main/resources
目录下添加一个 application.properties
文件,以启用和配置 OpenAI Chat 客户端:
spring.ai.openai.api-key=YOUR_API_KEY
spring.ai.openai.chat.options.model=gpt-3.5-turbo
spring.ai.openai.chat.options.temperature=0.7
使用您的 OpenAI 凭据替换 |
这将创建一个你可以注入到你的类中的 OpenAiChatClient
实现。下面是一个使用聊天客户端进行文本生成的简单 @Controller
类的示例。
@RestController
public class ChatController {
private final OpenAiChatClient chatClient;
@Autowired
public ChatController(OpenAiChatClient chatClient) {
this.chatClient = chatClient;
}
@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
return Map.of("generation", chatClient.call(message));
}
@GetMapping("/ai/generateStream")
public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
Prompt prompt = new Prompt(new UserMessage(message));
return chatClient.stream(prompt);
}
}
Manual Configuration
OpenAiChatClient实现 ChatClient`和 `StreamingChatClient
,并使用 Low-level OpenAiApi Client连接到 OpenAI 服务。
添加 spring-ai-openai
依赖到你的项目的 Maven pom.xml
文件中:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-openai</artifactId>
</dependency>
或添加到 Gradle build.gradle
构建文件中。
dependencies {
implementation 'org.springframework.ai:spring-ai-openai'
}
|
接下来,创建一个 OpenAiChatClient
,并用它进行文本生成:
var openAiApi = new OpenAiApi(System.getenv("OPENAI_API_KEY"));
var chatClient = new OpenAiChatClient(openAiApi)
.withDefaultOptions(OpenAiChatOptions.builder()
.withModel("gpt-35-turbo")
.withTemperature(0.4)
.withMaxTokens(200)
.build());
ChatResponse response = chatClient.call(
new Prompt("Generate the names of 5 famous pirates."));
// Or with streaming responses
Flux<ChatResponse> response = chatClient.stream(
new Prompt("Generate the names of 5 famous pirates."));
OpenAiChatOptions
为聊天请求提供配置信息。OpenAiChatOptions.Builder
是流利的选项构建器。
Low-level OpenAiApi Client
OpenAiApi 提供适用于 OpenAI Chat API 的轻量级 Java 客户端 OpenAI 聊天 API。
下面的类图说明了 OpenAiApi
聊天接口和构建块:
下面是一个简单的片段,说明如何以编程方式使用 API:
OpenAiApi openAiApi =
new OpenAiApi(System.getenv("OPENAI_API_KEY"));
ChatCompletionMessage chatCompletionMessage =
new ChatCompletionMessage("Hello world", Role.USER);
// Sync request
ResponseEntity<ChatCompletion> response = openAiApi.chatCompletionEntity(
new ChatCompletionRequest(List.of(chatCompletionMessage), "gpt-3.5-turbo", 0.8f, false));
// Streaming request
Flux<ChatCompletionChunk> streamResponse = openAiApi.chatCompletionStream(
new ChatCompletionRequest(List.of(chatCompletionMessage), "gpt-3.5-turbo", 0.8f, true));
请遵循 OpenAiApi.java 的 JavaDoc 了解更多信息。
Example Code
-
OpenAiApiIT.java测试提供了一些使用轻量级库的一般示例。
-
OpenAiApiToolFunctionCallIT.java测试展示了如何使用低级 API 来调用工具函数。基于 OpenAI Function Calling教程。