VertexAI PaLM2 Chat

Generative Language PaLM API 允许开发人员使用 PaLM 模型构建生成式 AI 应用程序。大语言模型 (LLM) 是一种功能强大且用途广泛的机器学习模型类型，它使计算机能够通过一系列提示理解和生成自然语言。PaLM API 基于 Google 的下一代 LLM，PaLM。它擅长各种不同的任务，如代码生成、推理和写作。你可以使用 PaLM API 为内容生成、对话代理、摘要和分类系统等用例构建生成式 AI 应用程序。 基于 Models REST API。

Prerequisites

要访问 PaLM2 REST API，你需要获取 makersuite 的访问 API KEY 表单。

目前 PaLM API 在美国境外不可用，但您可以使用 VPN 进行测试。

Spring AI 项目定义了一个名为 spring.ai.vertex.ai.api-key 的配置属性，你应该将其设置为获得的 API Key 的值。导出环境变量是设置该配置属性的一种方法：

export SPRING_AI_VERTEX_AI_API_KEY=<INSERT KEY HERE>

Add Repositories and BOM

Spring AI 工件发布在 Spring Milestone 和 Snapshot 存储库中。有关将这些存储库添加到你的构建系统的说明，请参阅 Repositories 部分。

为了帮助进行依赖项管理，Spring AI 提供了一个 BOM（物料清单）以确保在整个项目中使用一致版本的 Spring AI。有关将 Spring AI BOM 添加到你的构建系统的说明，请参阅 Dependency Management 部分。

Auto-configuration

Spring AI 为 VertexAI Chat 客户端提供 Spring Boot 自动配置。要启用它，请将以下依赖项添加到项目的 Maven pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-vertex-ai-palm2-spring-boot-starter</artifactId>
</dependency>

或添加到 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-vertex-ai-palm2-spring-boot-starter'
}

  1. 参见 Dependency Management 部分，将 Spring AI BOM 添加到你的构建文件中。

Chat Properties

前缀 spring.ai.vertex.ai 用作属性前缀，它允许你连接到 VertexAI。

Property Description Default

spring.ai.vertex.ai.ai.base-url

连接到的 URL

[role="bare"]https://generativelanguage.googleapis.com/v1beta3

spring.ai.vertex.ai.api-key

The API Key

-

前缀 spring.ai.vertex.ai.chat 是属性前缀，它允许你配置 VertexAI Chat 的聊天客户端实现。

Property Description Default

spring.ai.vertex.ai.chat.enabled

启用 Vertex AI PaLM API Chat 客户端。

true

spring.ai.vertex.ai.chat.model

这是要使用的 Vertex Chat model。

chat-bison-001

spring.ai.vertex.ai.chat.options.temperature

控制输出的随机性。值介于 [0.0,1.0]，包括在内。接近 1.0 的值将产生差异更大的响应，而接近 0.0 的值通常会产生来自生成器的较不意外的响应。此值指定在向生成器发出调用时后端使用的默认值。

0.7

spring.ai.vertex.ai.chat.options.topK

在采样时要考虑的最大令牌数。生成式模型使用组合 Top-k 和核采样。Top-k 采样考虑的是最可能的 topK 令牌集合。

20

spring.ai.vertex.ai.chat.options.topP

在采样时要考虑的令牌的最大累积概率。生成式模型使用组合 Top-k 和核采样。核采样考虑的令牌集合最少，但不低于 topP 的概率和。

-

spring.ai.vertex.ai.chat.options.candidateCount

要返回的生成响应消息数。此值必须介于 [1, 8]，包括在内。默认为 1。

1

所有以 spring.ai.vertex.ai.chat.options 为前缀的属性都可以通过在 Prompt 调用中添加请求特定的 Chat Options 来在运行时进行覆盖。

Chat Options

VertexAiPaLm2ChatOptions.java 提供模型配置，例如温度、topK 等。

在启动时，可以使用 VertexAiPaLm2ChatClient(api, options) 构造函数或 spring.ai.vertex.ai.chat.options.* 属性配置默认选项。

在运行时，你可以通过向 Prompt 调用添加新的请求特定选项来覆盖默认选项。例如，覆盖特定请求的默认温度：

ChatResponse response = chatClient.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        VertexAiPaLm2ChatOptions.builder()
            .withTemperature(0.4)
        .build()
    ));

  1. 除了模型特定的 VertexAiPaLm2ChatOptions 之外，你还可以使用用 ChatOptionsBuilder#builder() 创建的便携式 ChatOptions 实例。

Sample Controller (Auto-configuration)

Create 一个新的 Spring Boot 项目，并将 spring-ai-vertex-ai-palm2-spring-boot-starter 添加到你的 pom（或 gradle）依赖项。

在 src/main/resources 目录下添加一个 application.properties 文件，以启用并配置 VertexAi Chat 客户端：

spring.ai.vertex.ai.api-key=YOUR_API_KEY
spring.ai.vertex.ai.chat.model=chat-bison-001
spring.ai.vertex.ai.chat.options.temperature=0.5

将 api-key 替换为你的 VertexAI 凭据。

这将创建一个 VertexAiPaLm2ChatClient 实现，你可以将其注入到类中。以下是一个简单的 @Controller 类的示例，它使用聊天客户端进行文本生成。

@RestController
public class ChatController {

    private final VertexAiPaLm2ChatClient chatClient;

    @Autowired
    public ChatController(VertexAiPaLm2ChatClient chatClient) {
        this.chatClient = chatClient;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", chatClient.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        Prompt prompt = new Prompt(new UserMessage(message));
        return chatClient.stream(prompt);
    }
}

Manual Configuration

VertexAiPaLm2ChatClient实现 `ChatClient`并使用 Low-level VertexAiPaLm2Api Client连接到 VertexAI 服务。

将 spring-ai-vertex-ai-palm2 依赖添加到项目的 Maven pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-vertex-ai-palm2</artifactId>
</dependency>

或添加到 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-vertex-ai-palm'
}

  1. 参见 Dependency Management 部分，将 Spring AI BOM 添加到你的构建文件中。

接下来，创建一个 VertexAiPaLm2ChatClient 并将其用于文本生成：

VertexAiPaLm2Api vertexAiApi = new VertexAiPaLm2Api(< YOUR PALM_API_KEY>);

var chatClient = new VertexAiPaLm2ChatClient(vertexAiApi,
    VertexAiPaLm2ChatOptions.builder()
        .withTemperature(0.4)
    .build());

ChatResponse response = chatClient.call(
    new Prompt("Generate the names of 5 famous pirates."));

VertexAiPaLm2ChatOptions 提供聊天请求的配置信息。 VertexAiPaLm2ChatOptions.Builder 是流畅选项生成器。

Low-level VertexAiPaLm2Api Client

VertexAiPaLm2Api 为 VertexAiPaLm2Api 聊天 API 提供轻量级 Java 客户端。

以下类图说明了 VertexAiPaLm2Api 聊天界面和构建模块：

vertex ai chat low level api

下面是一个简单的片段，说明如何以编程方式使用 API：

VertexAiPaLm2Api vertexAiApi = new VertexAiPaLm2Api(< YOUR PALM_API_KEY>);

// Generate
var prompt = new MessagePrompt(List.of(new Message("0", "Hello, how are you?")));

GenerateMessageRequest request = new GenerateMessageRequest(prompt);

GenerateMessageResponse response = vertexAiApi.generateMessage(request);

// Embed text
Embedding embedding = vertexAiApi.embedText("Hello, how are you?");

// Batch embedding
List<Embedding> embeddings = vertexAiApi.batchEmbedText(List.of("Hello, how are you?", "I am fine, thank you!"));