PGvector

本部分将引导您设置 PGvector VectorStore 以存储文档嵌入并执行相似性搜索。 PGvector 是 PostgreSQL 的开源扩展，支持存储和搜索机器学习生成的嵌入。它提供了不同的功能，让用户能够识别精确最近邻和近似最近邻。它设计用于与其他 PostgreSQL 特性（包括索引和查询）无缝协作。

Prerequisites

首先，您需要访问启用了 vector、hstore 和 uuid-ossp 扩展的 PostgreSQL 实例。

setup local Postgres/PGVector 附录显示如何通过 Docker 容器在本地设置数据库。

在启动时，PgVectorStore 会尝试安装所需的数据库扩展名并使用索引创建所需的 vector_store 表。

您还可以按如下所示手动执行此操作：

CREATE EXTENSION IF NOT EXISTS vector;
CREATE EXTENSION IF NOT EXISTS hstore;
CREATE EXTENSION IF NOT EXISTS "uuid-ossp";

CREATE TABLE IF NOT EXISTS vector_store (
	id uuid DEFAULT uuid_generate_v4() PRIMARY KEY,
	content text,
	metadata json,
	embedding vector(1536) // 1536 is the default embedding dimension
);

CREATE INDEX ON vector_store USING HNSW (embedding vector_cosine_ops);

如果使用不同的维度，请用实际嵌入维度替换 1536。

下一步，如果需要，为 EmbeddingClient提供 API 密钥，以便生成由 `PgVectorStore`存储的嵌入。

Dependencies

然后，将 PgVectorStore 引导启动程序依赖项添加到您的项目：

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-pgvector-store-spring-boot-starter</artifactId>
</dependency>

或添加到 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-pgvector-store-spring-boot-starter'
}

向量存储还要求 EmbeddingClient 实例为文档计算嵌入。您可以选择一个可用的 EmbeddingClient Implementations。

例如，要使用 OpenAI EmbeddingClient，请将以下依赖项添加到你的项目中：

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>

或添加到 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai-spring-boot-starter'
}

请参阅 Dependency Management 部分，将 Spring AI BOM 添加到您的构建文件中。请参阅 Repositories 部分，将 Milestone 和/或快照存储库添加到您的构建文件中。

要连接并配置 PgVectorStore，您需要提供实例的访问详细信息。可以使用 Spring Boot 的 application.yml 提供一个简单的配置

spring:
  datasource:
    url: jdbc:postgresql://localhost:5432/postgres
    username: postgres
    password: postgres
  ai:
	vectorstore:
	  pgvector:
		index-type: HNSW
		distance-type: COSINE_DISTANCE
		dimension: 1536

查看 configuration parameters 的列表以了解默认值和配置选项。

现在，您可以在应用程序中自动连接 PgVector Store 并使用它

@Autowired VectorStore vectorStore;

// ...

List <Document> documents = List.of(
    new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("meta1", "meta1")),
    new Document("The World is Big and Salvation Lurks Around the Corner"),
    new Document("You walk forward facing the past and you turn back toward the future.", Map.of("meta2", "meta2")));

// Add the documents to PGVector
vectorStore.add(List.of(document));

// Retrieve documents similar to a query
List<Document> results = vectorStore.similaritySearch(SearchRequest.query("Spring").withTopK(5));

Manual Configuration

您可以手动配置 PgVectorStore，而不是使用 Spring Boot 自动配置。为此，您需要向您的项目添加 PostgreSQL 连接和 JdbcTemplate 自动配置依赖项：

<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>

<dependency>
	<groupId>org.postgresql</groupId>
	<artifactId>postgresql</artifactId>
	<scope>runtime</scope>
</dependency>

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-pgvector-store</artifactId>
</dependency>

  1. 参见 Dependency Management 部分，将 Spring AI BOM 添加到你的构建文件中。

要在应用程序中配置 PgVector，可以使用以下设置：

@Bean
public VectorStore vectorStore(JdbcTemplate jdbcTemplate, EmbeddingClient embeddingClient) {
	return new PgVectorStore(jdbcTemplate, embeddingClient);
}

Metadata filtering

您可以利用 PgVector 存储中通用的可移植过滤器 metadata filters。

例如，你可以使用文本表达式语言：

vectorStore.similaritySearch(
    SearchRequest.defaults()
    .withQuery("The World")
    .withTopK(TOP_K)
    .withSimilarityThreshold(SIMILARITY_THRESHOLD)
    .withFilterExpression("author in ['john', 'jill'] && article_type == 'blog'"));

或使用 Filter.Expression DSL 以编程方式：

FilterExpressionBuilder b = new FilterExpressionBuilder();

vectorStore.similaritySearch(SearchRequest.defaults()
    .withQuery("The World")
    .withTopK(TOP_K)
    .withSimilarityThreshold(SIMILARITY_THRESHOLD)
    .withFilterExpression(b.and(
        b.in("john", "jill"),
        b.eq("article_type", "blog")).build()));

这些筛选表达式被转换为等同的 PgVector 筛选。

PgVectorStore properties

您可以在 Spring Boot 配置中使用以下属性来自定义 PGVector 向量存储。

Property Description Default value

spring.ai.vectorstore.pgvector.index-type

最近邻搜索索引类型。选项有`NONE` - 精确最近邻搜索，IVFFlat - 索引将向量划分为列表，然后搜索最接近查询向量的那些列表的子集。它的构建时间更短，使用的内存比 HNSW 更少，但在查询性能上（在速度召回权衡方面）较低。HNSW - 创建一个多层图。它的构建时间更长，使用的内存比 IVFFlat 更换，但在查询性能上（在速度召回权衡方面）较好。没有像 IVFFlat 那样的训练步骤，因此可以在表中没有任何数据的情况下创建索引。

HNSW

spring.ai.vectorstore.pgvector.distance-type

搜索距离类型。默认为 COSINE_DISTANCE。但如果将向量归一化为长度 1，则可以使用 EUCLIDEAN_DISTANCE 或 NEGATIVE_INNER_PRODUCT 来获得最佳性能。

COSINE_DISTANCE

spring.ai.vectorstore.pgvector.dimension

嵌入维度。如果未显式指定，则 PgVectorStore 将从提供的 EmbeddingClient 中检索维度。在创建表时，将维度设置为嵌入列。如果您更改维度，则还必须重新创建 vector_store 表。

-

spring.ai.vectorstore.pgvector.remove-existing-vector-store-table

在启动时删除现有的 vector_store 表。

false

Run Postgres & PGVector DB locally

docker run -it --rm --name postgres -p 5432:5432 -e POSTGRES_USER=postgres -e POSTGRES_PASSWORD=postgres ankane/pgvector

您可以像这样连接到此服务器：

psql -U postgres -h localhost -p 5432