Mistral AI Chat

Spring AI 支持 Mistral AI 中的各种 AI 语言模型。您可以与 Mistral AI 语言模型交互，并根据 Mistral 模型基于多语言对话助理。

Prerequisites

你需要使用 MistralAI 创建一个 API 才能访问 Mistral AI 语言模型。在 MistralAI registration page 创建一个帐户，并在 API Keys page 上生成令牌。Spring AI 项目定义了一个名为 spring.ai.mistralai.api-key 的配置属性，你应将其设置为从 console.mistral.ai 获得的 API Key 的值。导出环境变量是一种设置该配置属性的方法：

export SPRING_AI_MISTRALAI_API_KEY=<INSERT KEY HERE>

Add Repositories and BOM

Spring AI 工件发布在 Spring 里程碑和快照存储库中。请参考 Repositories 部分将这些存储库添加到你的构建系统。

为了帮助进行依赖项管理，Spring AI 提供了一个 BOM（物料清单）以确保在整个项目中使用一致版本的 Spring AI。有关将 Spring AI BOM 添加到你的构建系统的说明，请参阅 Dependency Management 部分。

Auto-configuration

Spring AI 为 MistralAI 聊天客户端提供 Spring Boot 自动配置。若要启用它，请将以下依赖项添加到项目的 Maven pom.xml 文件：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-mistral-ai-spring-boot-starter</artifactId>
</dependency>

或添加到 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-mistral-ai-spring-boot-starter'
}

参见 Dependency Management 部分，将 Spring AI BOM 添加到你的构建文件中。

Chat Properties

Retry Properties

前缀 spring.ai.retry 用作属性前缀，使你可以配置 Mistral AI 聊天客户端的重试机制。

Property Description Default

Property	Description	Default
spring.ai.retry.max-attempts	最大重试次数。	10
spring.ai.retry.backoff.initial-interval	指数退避策略的初始休眠持续时间。	2 sec.
spring.ai.retry.backoff.multiplier	Backoff interval multiplier.	5
spring.ai.retry.backoff.max-interval	Maximum backoff duration.	3 min.
spring.ai.retry.on-client-errors	如果为 false，则抛出 NonTransientAiException，并且不尝试针对 `4xx` 客户端错误代码重试	false
spring.ai.retry.exclude-on-http-codes	不应触发重试的 HTTP 状态代码列表（例如，抛出 NonTransientAiException）。	empty

spring.ai.retry.max-attempts

最大重试次数。

spring.ai.retry.backoff.initial-interval

指数退避策略的初始休眠持续时间。

2 sec.

spring.ai.retry.backoff.multiplier

Backoff interval multiplier.

spring.ai.retry.backoff.max-interval

Maximum backoff duration.

3 min.

spring.ai.retry.on-client-errors

如果为 false，则抛出 NonTransientAiException，并且不尝试针对 4xx 客户端错误代码重试

false

spring.ai.retry.exclude-on-http-codes

不应触发重试的 HTTP 状态代码列表（例如，抛出 NonTransientAiException）。

empty

Connection Properties

前缀 spring.ai.mistralai 用作属性前缀，使你可以连接到 OpenAI。

Property	Description	Default
spring.ai.mistralai.base-url	连接到的 URL	[role="bare"]https://api.mistral.ai
spring.ai.mistralai.api-key	The API Key	-

Property

Description

Default

spring.ai.mistralai.base-url

连接到的 URL

[role="bare"]https://api.mistral.ai

spring.ai.mistralai.api-key

The API Key

Configuration Properties

前缀 spring.ai.mistralai.chat 是允许你配置 MistralAI 的聊天客户端实现的属性前缀。

Property Description Default

Property	Description	Default
spring.ai.mistralai.chat.enabled	Enable MistralAI chat client.	true
spring.ai.mistralai.chat.base-url	可选，覆盖 spring.ai.mistralai.base-url 以提供特定于聊天模式的 url	-
spring.ai.mistralai.chat.api-key	可选，覆盖 spring.ai.mistralai.api-key 以提供特定于聊天模式的 api-key	-
spring.ai.mistralai.chat.options.model	这是要使用的 MistralAI Chat 模型	`open-mistral-7b`，`open-mixtral-8x7b`，`mistral-small-latest`，`mistral-medium-latest`，`mistral-large-latest`
spring.ai.mistralai.chat.options.temperature	用于控制生成完成内容的明显创造力的采样温度。较高的值会使输出更随机，而较低的值会使结果更集中，更确定。不建议为同一个补全请求修改 temperature and top_p，因为这两个设置交互作用难以预测。	0.8
spring.ai.mistralai.chat.options.maxTokens	在聊天完成中生成的最大令牌数。输入令牌和生成令牌的总长度受模型的上下文长度限制。	-
spring.ai.mistralai.chat.options.safePrompt	指定是否在所有会话前注入安全提示。	false
spring.ai.mistralai.chat.options.randomSeed	此功能处于 Beta 版。如果指定，我们的系统会尽最大努力确定性地进行抽样，以便使用相同种子和参数的重复请求应返回相同的结果。	-
spring.ai.mistralai.chat.options.stop	最多 4 个序列，API 将停止生成更多令牌。	-
spring.ai.mistralai.chat.options.topP	一种替代温度采样的方法被称为核采样，其中模型会考虑具有 top_p 概率质量的令牌的结果。因此，0.1 意味着仅考虑包含前 10% 概率质量的令牌。我们通常建议更改此设置或温度，但不能同时更改两者。	-
spring.ai.mistralai.chat.options.responseFormat	指定模型必须输出的格式的对象。设置为 `{ "type": "json_object" }` 启用 JSON 模式，确保模型生成的信息是有效的 JSON。	-
spring.ai.mistralai.chat.options.tools	模型可能调用的工具列表。目前，仅支持将函数作为工具。使用此设置提供模型可为其生成 JSON 输入的函数列表。	-
spring.ai.mistralai.chat.options.toolChoice	控制模型调用的（如果有）函数。none 意味着模型不会调用函数，而是生成一条消息。auto 意味着模型可以在生成消息或调用函数之间进行选择。通过 {"type: "function", "function": {"name": "my_function"}} 指定特定函数将强制模型调用该函数。当没有函数时，none 为默认值。如果存在函数，则 auto 为默认值。	-
spring.ai.mistralai.chat.options.functions	按其名称标识的函数列表，以在单提示请求中启用函数调用。具有这些名称的函数必须存在于 functionCallbacks 注册表中。	-
spring.ai.mistralai.chat.options.functionCallbacks	向 ChatClient 注册的 MistralAI 工具函数回调。	-

spring.ai.mistralai.chat.enabled

Enable MistralAI chat client.

true

spring.ai.mistralai.chat.base-url

可选，覆盖 spring.ai.mistralai.base-url 以提供特定于聊天模式的 url

spring.ai.mistralai.chat.api-key

可选，覆盖 spring.ai.mistralai.api-key 以提供特定于聊天模式的 api-key

spring.ai.mistralai.chat.options.model

这是要使用的 MistralAI Chat 模型

open-mistral-7b，open-mixtral-8x7b，mistral-small-latest，mistral-medium-latest，mistral-large-latest

spring.ai.mistralai.chat.options.temperature

用于控制生成完成内容的明显创造力的采样温度。较高的值会使输出更随机，而较低的值会使结果更集中，更确定。不建议为同一个补全请求修改 temperature and top_p，因为这两个设置交互作用难以预测。

0.8

spring.ai.mistralai.chat.options.maxTokens

在聊天完成中生成的最大令牌数。输入令牌和生成令牌的总长度受模型的上下文长度限制。

spring.ai.mistralai.chat.options.safePrompt

指定是否在所有会话前注入安全提示。

false

spring.ai.mistralai.chat.options.randomSeed

此功能处于 Beta 版。如果指定，我们的系统会尽最大努力确定性地进行抽样，以便使用相同种子和参数的重复请求应返回相同的结果。

spring.ai.mistralai.chat.options.stop

最多 4 个序列，API 将停止生成更多令牌。

spring.ai.mistralai.chat.options.topP

一种替代温度采样的方法被称为核采样，其中模型会考虑具有 top_p 概率质量的令牌的结果。因此，0.1 意味着仅考虑包含前 10% 概率质量的令牌。我们通常建议更改此设置或温度，但不能同时更改两者。

spring.ai.mistralai.chat.options.responseFormat

指定模型必须输出的格式的对象。设置为 { "type": "json_object" } 启用 JSON 模式，确保模型生成的信息是有效的 JSON。

spring.ai.mistralai.chat.options.tools

模型可能调用的工具列表。目前，仅支持将函数作为工具。使用此设置提供模型可为其生成 JSON 输入的函数列表。

spring.ai.mistralai.chat.options.toolChoice

控制模型调用的（如果有）函数。none 意味着模型不会调用函数，而是生成一条消息。auto 意味着模型可以在生成消息或调用函数之间进行选择。通过 {"type: "function", "function": {"name": "my_function"}} 指定特定函数将强制模型调用该函数。当没有函数时，none 为默认值。如果存在函数，则 auto 为默认值。

spring.ai.mistralai.chat.options.functions

按其名称标识的函数列表，以在单提示请求中启用函数调用。具有这些名称的函数必须存在于 functionCallbacks 注册表中。

spring.ai.mistralai.chat.options.functionCallbacks

向 ChatClient 注册的 MistralAI 工具函数回调。

你可以重写通用 spring.ai.mistralai.base-url 和 spring.ai.mistralai.api-key 以供 ChatClient 和 EmbeddingClient 实现。如果设置 spring.ai.mistralai.chat.base-url 和 spring.ai.mistralai.chat.api-key 属性，则这些属性优先于通用属性。如果你希望对不同的模型和不同的模型端点使用不同的 MistralAI 帐户，这会非常有用。

带有 spring.ai.mistralai.chat.options 前缀的所有属性都可以通过将特定请求 Chat Options 添加到 Prompt 调用在运行时进行覆盖。

Chat Options

MistralAiChatOptions.java 提供了模型配置，例如要使用的模型、温度、频率惩罚等。

在启动时，可以使用 MistralAiChatClient(api, options) 构造函数或 spring.ai.mistralai.chat.options.* 属性配置默认选项。

在运行时，可以通过向 Prompt 调用中添加新的请求特定选项来覆盖默认选项。例如，覆盖特定请求的默认模型和温度：

ChatResponse response = chatClient.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        MistralAiChatOptions.builder()
            .withModel(MistralAiApi.ChatModel.LARGE.getValue())
            .withTemperature(0.5f)
        .build()
    ));

除了特定 MistralAiChatOptions 的模型之外，您还可以使用使用 ChatOptionsBuilder#builder() 创建的可移植 ChatOptions 实例。

Sample Controller (Auto-configuration)

Create 一个新的 Spring Boot 项目，并将 spring-ai-mistralai-spring-boot-starter 添加到你的 pom（或 gradle）依赖项中。

在 src/main/resources 目录下添加一个 application.properties 文件，以启用和配置 OpenAI Chat 客户端：

spring.ai.mistralai.api-key=YOUR_API_KEY
spring.ai.mistralai.chat.options.model=mistral-medium
spring.ai.mistralai.chat.options.temperature=0.7

使用您的 OpenAI 凭据替换 api-key。

这将创建一个 MistralAiChatClient 实现，你可以将其注入到你的类中。以下是一个简单的 @Controller 类的示例，该类使用聊天客户端进行文本生成。

@RestController
public class ChatController {

    private final MistralAiChatClient chatClient;

    @Autowired
    public ChatController(MistralAiChatClient chatClient) {
        this.chatClient = chatClient;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", chatClient.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        var prompt = new Prompt(new UserMessage(message));
        return chatClient.stream(prompt);
    }
}

Manual Configuration

MistralAiChatClient实现`ChatClient`和`StreamingChatClient`，并且使用Low-level MistralAiApi Client连接到MistralAI服务。

将 spring-ai-mistralai 依赖项添加到项目的 Maven pom.xml 文件：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-mistralai</artifactId>
</dependency>

或添加到 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-mistralai'
}

参见 Dependency Management 部分，将 Spring AI BOM 添加到你的构建文件中。

接下来，创建一个 MistralAiChatClient 并用它进行文本生成：

var mistralAiApi = new MistralAiApi(System.getenv("MISTRAL_AI_API_KEY"));

var chatClient = new MistralAiChatClient(mistralAiApi, MistralAiChatOptions.builder()
                .withModel(MistralAiApi.ChatModel.LARGE.getValue())
                .withTemperature(0.4f)
                .withMaxToken(200)
                .build());

ChatResponse response = chatClient.call(
    new Prompt("Generate the names of 5 famous pirates."));

// Or with streaming responses
Flux<ChatResponse> response = chatClient.stream(
    new Prompt("Generate the names of 5 famous pirates."));

MistralAiChatOptions 为聊天请求提供配置信息。MistralAiChatOptions.Builder 是流畅的选项生成器。

Low-level MistralAiApi Client

MistralAiApi提供了一个用于 Mistral AI API的轻量级 Java 客户端。

下面是一个简单的片段，说明如何以编程方式使用 API：

MistralAiApi mistralAiApi =
    new MistralAiApi(System.getenv("MISTRAL_AI_API_KEY"));

ChatCompletionMessage chatCompletionMessage =
    new ChatCompletionMessage("Hello world", Role.USER);

// Sync request
ResponseEntity<ChatCompletion> response = mistralAiApi.chatCompletionEntity(
    new ChatCompletionRequest(List.of(chatCompletionMessage), MistralAiApi.ChatModel.LARGE.getValue(), 0.8f, false));

// Streaming request
Flux<ChatCompletionChunk> streamResponse = mistralAiApi.chatCompletionStream(
        new ChatCompletionRequest(List.of(chatCompletionMessage), MistralAiApi.ChatModel.LARGE.getValue(), 0.8f, true));

有关详细信息，请遵循 MistralAiApi.java的 JavaDoc。

MistralAiApi Samples

MistralAiApiIT.java测试提供了一些使用轻量级库的一般示例。
PaymentStatusFunctionCallingIT.java测试展示了如何使用低级 API 来调用工具函数。基于 MistralAI Function Calling教程。