Virtual Thread support reference

What are virtual threads?

Terminology

OS thread

A "thread-like" data structure managed by the Operating System.

Platform thread

Until Java 19, every instance of the Thread class was a platform thread, a wrapper around an OS thread. Creating a platform thread creates an OS thread, and blocking a platform thread blocks an OS thread.

Virtual thread

Lightweight, JVM-managed threads. They extend the Thread class but are not tied to one specific OS thread. Thus, scheduling virtual threads is the responsibility of the JVM.

Carrier thread

A platform thread used to execute a virtual thread is called a carrier thread. It isn’t a class distinct from Thread or VirtualThread but rather a functional denomination.

Differences between virtual threads and platform threads

我们将在此处简要概述该主题；有关更多信息，请参阅 JEP 425。

虚拟线程是自 Java 19 起可用的功能（Java 21 是第一个包括虚拟线程的 LTS 版本），旨在为面向 I/O 的工作负载提供一个廉价的平台线程替代品。

到目前为止，平台线程是 JVM 的并发单元。它们是对操作系统结构的包装。创建 Java 平台线程将在您的操作系统中创建一个“类线程”结构。

另一方面，虚拟线程由 JVM 管理。要执行它们，需要将其装载到平台线程上（充当该虚拟线程的载体）。因此，它们被设计为提供以下特性：

Lightweight

Virtual threads occupy less space than platform threads in memory. Hence, it becomes possible to use more virtual threads than platform threads simultaneously without blowing up the memory. By default, platform threads are created with a stack of about 1 MB, whereas virtual threads stack is "pay-as-you-go." You can find these numbers and other motivations for virtual threads in this presentation given by the lead developer of project Loom (the project that added the virtual thread support to the JVM).

Cheap to create

Creating a platform thread in Java takes time. Currently, techniques such as pooling, where threads are created once and then reused, are strongly encouraged to minimize the time lost in starting them (as well as limiting the maximum number of threads to keep memory consumption low). Virtual threads are supposed to be disposable entities that we create when we need them, it is discouraged to pool them or reuse them for different tasks.

Cheap to block

When performing blocking I/O, the underlying OS thread wrapped by the Java platform thread is put in a wait queue, and a context switch occurs to load a new thread context onto the CPU core. This operation takes time. Since the JVM manages virtual threads, no underlying OS thread is blocked when they perform a blocking operation. Their state is stored in the heap, and another virtual thread is executed on the same Java platform (carrier) thread.

The Continuation Dance

如上所述，JVM 调度虚拟线程。这些虚拟线程装载在载体线程上。调度带有一点魔法。当虚拟线程试图使用阻塞 I/O 时，JVM _transforms_将此调用转换为非阻塞调用，卸载虚拟线程并将另一个虚拟线程装载到载体线程上。当 I/O 完成后，_waiting_虚拟线程再次符合条件，并将重新装载到载体线程上继续执行。对于用户来说，所有这一切都是无形的。您的同步代码将异步执行。

请注意，虚拟线程可能不会重新装载到相同的载体线程上。

Virtual threads are useful for I/O-bound workloads only

我们现在知道，我们可以创建比平台线程更多的虚拟线程。人们可能会倾向于使用虚拟线程执行长时间计算（CPU 绑定工作负载）。这是无用且适得其反的。CPU 绑定不包含快速交换线程，而是在等待 I/O 完成时将它们附加到 CPU 核心以计算某些内容。在这种情况下，如果我们有十几个 CPU 核心，拥有数千个线程比无用更糟，虚拟线程不会提高 CPU 绑定工作负载的性能。更糟糕的是，当在虚拟线程上运行 CPU 绑定工作负载时，虚拟线程会独占其装载的载体线程。它要么会减少其他虚拟线程运行的机会，要么会开始创建新的载体线程，从而导致内存使用量高。

Run code on virtual threads using @RunOnVirtualThread

在 Quarkus 中，使用 @RunOnVirtualThread注释实现了对虚拟线程的支持。本节简要概述了基本原理以及如何使用它。有专门的指南支持该注释的扩展，例如：

Why not run everything on virtual threads?

如上所述，并非所有内容都可以在虚拟线程上安全运行。monopolization*风险可能导致内存使用量高。此外，还有虚拟线程无法从载体线程卸载的情况。这称为 *pinning。最后，一些库使用 `ThreadLocal`存储和重用对象。对这些库使用虚拟线程会导致大量分配，因为有意池化的对象将被实例化用于每个（可一次性使用并且通常寿命短的）虚拟线程。

截至今天，不可能在不担忧的方式使用虚拟线程。遵循这种放任自流的方法可能会很快导致内存和资源匮乏问题。因此，Quarkus 使用一个明确的模型，直到上述问题消失（随着 Java 生态系统的成熟）。这也是 _reactive_扩展具有虚拟线程支持，而 _classic_扩展很少具有虚拟线程支持的原因。我们需要知道何时在虚拟线程上分派。

重要的是要理解，这些问题不是 Quarkus 的限制或错误，而是由于 Java 生态系统的当前状态需要演变才能变得对虚拟线程友好。

要了解有关内部设计和选择的更多信息，请查看 Considerations for integrating virtual threads in a Java framework: a Quarkus example in a resource-constrained environment文档。

Monopolization cases

独占性已在 Virtual threads are useful for I/O-bound workloads only部分中进行了说明。在运行长时间计算时，我们不允许 JVM 卸载并切换到另一个虚拟线程，直到虚拟线程终止。事实上，当前的调度程序不支持抢占任务。

这种独占可能会导致创建新的载体线程以执行其他虚拟线程。创建载体线程会导致创建平台线程。因此，与此创建关联有一个内存成本。

假设您在受限环境（例如容器）中运行。在这种情况下，独占很快会成为一个问题，因为高内存使用可能会导致内存不足问题和容器终止。由于调度和虚拟线程的固有成本，内存使用量可能高于常规工作线程。

Pinning cases

“低成本阻塞”的承诺不一定总能成立：虚拟线程有时可能会_pin_其载体。在这种情况下，平台线程会被阻塞，这与典型的阻塞场景中完全一样。

根据 JEP 425，这种情况可能会在以下两种场景中发生：

  • 当虚拟线程在`synchronized`块或方法中执行阻塞操作时

  • 当它在原生方法或外部函数中执行阻塞操作时

在代码中避开这些情况可能比较容易，但验证每种您使用的依赖项都很困难。通常，在尝试使用虚拟线程的时候，我们发现 postgresql-JDBC driver的 42.6.0 之前的版本会导致频繁的固定。大部分 JDBC 驱动程序仍然固定载体线程。更糟糕的是，许多库都需要进行代码更改。

有关详细信息，请参见 When Quarkus meets Virtual Threads

有关固定案例的信息适用于 PostgreSQL JDBC 驱动程序 42.5.4 及更早版本。对于 PostgreSQL JDBC 驱动程序 42.6.0 及更高版本，几乎所有同步方法都已被可重入锁取代。有关详细信息，请参阅 PostgreSQL JDBC 驱动程序 42.6.0 的 Notable Changes

The pooling case

某些库使用`ThreadLocal`作为对象池机制。像 Jackson和 Netty 这样的非常流行的库假定应用程序使用有限数量的线程，并且这些线程被回收利用（使用线程池）来运行多个（不相关但顺序执行）的任务。

这种模式有多种优势，例如：

  • 分配优势：每个线程只分配一次大型对象，但由于这些线程的数量旨在保持有限，因此它不会使用太多内存。

  • 线程安全性：只有单个线程可以访问存储在局部线程中的对象，从而防止发生并行访问。

但是，在使用虚拟线程时，这种模式会适得其反。虚拟线程没有池，而且通常是短命的。因此，我们现在有很多虚拟线程，而不是少数的几个虚拟线程。对于其中每一个，都创建存储在`ThreadLocal`中的对象（通常又大又昂贵），并且不会重用，因为虚拟线程没有池（而且不会在执行完成后用于运行另一个任务）。这种问题会导致大量使用内存。很不幸，这需要在库自身进行复杂的代码更改。

Use @RunOnVirtualThread with Quarkus REST (formerly RESTEasy Reactive)

本部分展示了使用 @RunOnVirtualThread注释的一个简短示例。它还解释了 Quarkus 提供的各种开发和执行模型。

`@RunOnVirtualThread`注释指示 Quarkus 调用*new*虚拟线程中的注释方法而不是当前方法。Quarkus 处理虚拟线程的创建和卸载。

由于虚拟线程是可处置实体，因此`@RunOnVirtualThread`的基本理念是在新虚拟线程中卸载端点处理器的执行，而不是在事件循环或工作线程（对于 Quarkus REST 是这样）中运行它。

要实现这一点，可以向端点添加 @RunOnVirtualThread注释就足够了。如果用于*run*应用程序的 Java 虚拟机提供虚拟线程支持（Java 21 或更高版本），则端点执行将卸载到虚拟线程。然后将有能力在不阻塞安装虚拟线程的平台线程情况下执行阻塞操作。

对于 Quarkus REST，此注释只能用于使用 @Blocking注释的端点或由于其签名而被视为阻塞的端点。可以访问Execution model, blocking, non-blocking以了解详细信息。

Get started with virtual threads with Quarkus REST

将以下依赖项添加到构建文件中：

pom.xml
<dependency>
    <groupId>io.quarkus</groupId>
    <artifactId>quarkus-rest</artifactId>
</dependency>
build.gradle
implementation("io.quarkus:quarkus-rest")

然后，还需要确保使用 Java 21 及更高版本，这可以在 pom.xml 文件中使用以下内容强制执行：

pom.xml
<properties>
    <maven.compiler.source>21</maven.compiler.source>
    <maven.compiler.target>21</maven.compiler.target>
</properties>

Three development and execution models

下面的示例显示了三个端点之间的区别，所有这些都在数据库中查询 fortune ，然后将其返回给客户端。

  • 第一个使用传统阻塞样式，由于它的签名而被认为是阻塞。

  • 第二个使用 Mutiny，由于它的签名而被认为是非阻塞的。

  • 第三个使用 Mutiny 但以同步的方式，因为它不返回“反应型类型”，因此被认为是阻塞的，并且可以使用 @RunOnVirtualThread 注释。

package org.acme.rest;

import org.acme.fortune.model.Fortune;
import org.acme.fortune.repository.FortuneRepository;
import io.smallrye.common.annotation.RunOnVirtualThread;
import io.smallrye.mutiny.Uni;

import jakarta.ws.rs.GET;
import jakarta.ws.rs.Path;
import java.util.List;
import java.util.Random;


@Path("")
public class FortuneResource {

    @Inject FortuneRepository repository;

    @GET
    @Path("/blocking")
    public Fortune blocking() {
        // Runs on a worker (platform) thread
        var list = repository.findAllBlocking();
        return pickOne(list);
    }

    @GET
    @Path("/reactive")
    public Uni<Fortune> reactive() {
        // Runs on the event loop
        return repository.findAllAsync()
                .map(this::pickOne);
    }

    @GET
    @Path("/virtual")
    @RunOnVirtualThread
    public Fortune virtualThread() {
        // Runs on a virtual thread
        var list = repository.findAllAsyncAndAwait();
        return pickOne(list);
    }

}

下表总结了这些选项：

Model Example of signature Pros Cons

工作者线程上的同步代码

Fortune blocking()

Simple code

使用工作者线程（限制并发）

事件循环上的反应型代码

Uni<Fortune> reactive()

高并发和低资源使用

More complex code

虚拟线程上的同步代码

@RunOnVirtualThread Fortune vt()

Simple code

钉住、垄断和对象池效率低下的风险

请注意，所有这三个模型都可以在单个应用程序中使用。

Use virtual thread friendly clients

如 Why not run everything on virtual threads? 部分中所述，Java 生态系统还没有完全准备好使用虚拟线程。所以，您需要小心，尤其是在使用执行 I/O 的库时。

幸运的是，Quarkus 提供了一个巨大的生态系统，可以用于虚拟线程。Quarkus 中使用的反应型编程库 Mutiny 和 Vert.x Mutiny 绑定提供了编写阻塞代码（所以，不用担心，没有学习曲线）的能力，而不会钉住载波线程。

所以：

  1. 在反应型 API 之上提供阻塞 API 的 Quarkus 扩展可以在虚拟线程中使用。这包括 REST 客户端、Redis 客户端、邮件发送器…​

  2. 返回 Uni 的 API 可使用 uni.await().atMost(&#8230;&#8203;) 直接使用。它会阻塞虚拟线程，而不会阻塞载波线程，并且还可以通过简单的（非阻塞的）超时支持来提高应用程序的弹性。

  3. 如果您使用 Vert.x client using the Mutiny bindings，请使用 andAwait() 方法，该方法会阻塞直到获取结果，而不会钉住载波线程。它包括所有响应式 SQL 驱动程序。

Detect pinned thread in tests

我们建议在应用程序中使用虚拟线程运行测试时使用以下配置。如果不会使测试失败，但至少在代码钉住载波线程时转储启动跟踪：

<plugin>
  <artifactId>maven-surefire-plugin</artifactId>
  <version>${surefire-plugin.version}</version>
  <configuration>
      <systemPropertyVariables>
        <java.util.logging.manager>org.jboss.logmanager.LogManager</java.util.logging.manager>
        <maven.home>${maven.home}</maven.home>
      </systemPropertyVariables>
      <argLine>-Djdk.tracePinnedThreads</argLine>
  </configuration>
</plugin>

Run application using virtual threads

java -jar target/quarkus-app/quarkus-run.jar

在 Java 21 之前，虚拟线程仍然是一个实验性功能，你需要使用 --enable-preview 标志启动你的应用程序。

Build containers for application using virtual threads

在 JVM 模式下运行应用程序时（因此没有编译成本机模式，对于本机模式，请查看 the dedicated section），你可以按照 containerization guide 创建容器。

在本节中，我们使用 JIB 来构建容器。请参阅 containerization guide 以了解有关其他方法的更多信息。

要将使用 @RunOnVirtualThread 的 Quarkus 应用程序容器化，请在 application.properties 中添加以下属性：

quarkus.container-image.build=true
quarkus.container-image.group=<your-group-name>
quarkus.container-image.name=<you-container-name>
quarkus.jib.base-jvm-image=registry.access.redhat.com/ubi8/openjdk-21-runtime 1
quarkus.jib.platforms=linux/amd64,linux/arm64 2
1 务必确保使用支持虚拟线程的基本镜像。此处我们使用提供 Java 21 的镜像。如果你没有设置镜像，Quarkus 会自动选择提供 Java 21+ 的镜像。
2 选择目标架构。你可以选择多个目标架构来构建多架构镜像。

然后，按照通常的方法构建容器。例如，如果你使用 Maven，请运行：

mvn package

Compiling Quarkus application using virtual threads into native executable

Using a local GraalVM installation

若要将利用 @RunOnVirtualThread 的 Quarkus 应用程序编译成本机可执行文件，你必须确保使用支持虚拟线程的 GraalVM/Mandrel native-image，即至少提供 Java 21。

按照 the native compilation guide 中的说明构建本机可执行文件。例如，使用 Maven，请运行：

mvn package -Dnative

Using an in-container build

容器内构建允许使用在容器内运行的 native-image 编译器构建 Linux 64 可执行文件。这样可以避免在你的机器上安装 native-image，还可以配置所需的 GraalVM 版本。请注意，要使用容器内构建，你的机器上必须安装 Docker 或 Podman。

然后，将以下内容添加到 application.properties 文件中：

# In-container build to get a linux 64 executable
quarkus.native.container-build=true 1
1 Enables the in-container build
Example 1. From ARM/64 to AMD/64

如果你使用的是 Mac M1 或 M2（使用 ARM64 CPU），则需要知道你使用容器内构建获得的本机可执行文件将是 Linux 可执行文件，但使用的是主机（ARM 64）架构。使用 Docker 时，你可以使用以下属性强制设置架构：

quarkus.native.container-runtime-options=--platform=linux/amd64

请注意，这会大大增加编译时间（>10 分钟）。

Containerize native applications using virtual threads

要构建运行 Quarkus 应用程序的容器（使用编译成本机可执行文件的虚拟线程），你必须确保拥有 Linux/AMD64 可执行文件（或 ARM64，如果你针对的是 ARM 机器）。

确保你的 application.properties 包含 the native compilation section 中说明的配置。

然后，按照通常的方法构建容器。例如，如果你使用 Maven，请运行：

mvn package -Dnative

如果你想要构建本机容器镜像，并且已经有现有本机镜像，则可以设置 -Dquarkus.native.reuse-existing=true，这样本机镜像构建将不会重新运行。

Use the duplicated context in virtual threads

使用 @RunOnVirtualThread 注释的方法从原始重复上下文继承（有关详细信息，请参见 duplicated context reference guide）。因此，在方法执行期间，过滤器和拦截器写入重复上下文（以及请求范围，因为请求范围存储在重复上下文中）的数据可用（即使过滤器和拦截器没有在虚拟线程上运行）。

但是，不会传播线程局部变量。

Virtual thread names

默认情况下，虚拟线程是在没有线程名称的情况下创建的，这对于识别调试和日志记录目的的执行并不实用。Quarkus 管理的虚拟线程被命名并以 `quarkus-virtual-thread-`为前缀。您可以自定义此前缀，或通过配置空值完全禁用该命名：

quarkus.virtual-threads.name-prefix=

Inject the virtual thread executor

为了在虚拟线程上运行任务，Quarkus 管理了一个内部 ThreadPerTaskExecutor。在需要直接访问该执行程序的罕见情况下，您可以使用 @VirtualThreads CDI 限定符注入它：

注入虚拟线程 ExecutorService 是实验性的，并且可能在未来版本中发生变化。

package org.acme;

import org.acme.fortune.repository.FortuneRepository;

import java.util.concurrent.ExecutorService;

import jakarta.enterprise.event.Observes;
import jakarta.inject.Inject;
import jakarta.transaction.Transactional;

import io.quarkus.logging.Log;
import io.quarkus.runtime.StartupEvent;
import io.quarkus.virtual.threads.VirtualThreads;

public class MyApplication {

    @Inject
    FortuneRepository repository;

    @Inject
    @VirtualThreads
    ExecutorService vThreads;

    void onEvent(@Observes StartupEvent event) {
        vThreads.execute(this::findAll);
    }

    @Transactional
    void findAll() {
        Log.info(repository.findAllBlocking());
    }

}

Testing virtual thread applications

如上所述，虚拟线程有一些限制，这些限制会极大地影响您的应用程序性能和内存使用。 junit5-virtual-threads 扩展提供了一种在运行测试时检测已固定的载体线程的方法。因此，您可以消除最突出的限制之一或了解问题。

要启用此检测：

  • 1) 将 junit5-virtual-threads 依赖项添加到您的项目：

<dependency>
    <groupId>io.quarkus.junit5</groupId>
    <artifactId>junit5-virtual-threads</artifactId>
    <scope>test</scope>
</dependency>

  • 2) 在您的测试用例中，添加 io.quarkus.test.junit5.virtual.VirtualThreadUnit 和 io.quarkus.test.junit.virtual.ShouldNotPin 批注：

@QuarkusTest
@TestMethodOrder(MethodOrderer.OrderAnnotation.class)
@VirtualThreadUnit // Use the extension
@ShouldNotPin // Detect pinned carrier thread
class TodoResourceTest {
    // ...
}

当您运行测试（请记住使用 Java 21+）时，Quarkus 会检测已固定的载体线程。当出现这种情况时，测试失败。

@ShouldNotPin 也可以直接用于方法。

junit5-virtual-threads 还提供了一个 @ShouldPin 批注，用于无法避免固定的情况。以下代码段演示了 @ShouldPin 批注用法。

@VirtualThreadUnit // Use the extension
public class LoomUnitExampleTest {

    CodeUnderTest codeUnderTest = new CodeUnderTest();

    @Test
    @ShouldNotPin
    public void testThatShouldNotPin() {
        // ...
    }

    @Test
    @ShouldPin(atMost = 1)
    public void testThatShouldPinAtMostOnce() {
        codeUnderTest.pin();
    }

}

Additional references