Apache Nifi 简明教程

Apache NiFi - Processors Categorization

在本章中,我们将讨论 Apache NiFi 中的流程分类。

Data Ingestion Processors

数据收集类别下的处理器用于将数据导入到 NiFi 数据流中。这些通常是 Apache NiFi 中任何数据流的起点。该类别下的某些处理器有 GetFile、GetHTTP、GetFTP、GetKAFKA 等。

Routing and Mediation Processors

路由和中介处理器用于根据那些流文件的属性或内容中的信息将流文件路由到不同的处理器或数据流。这些处理器还负责控制 NiFi 数据流。该类别下的某些处理器有 RouteOnAttribute、RouteOnContent、ControlRate、RouteText 等。

Database Access Processors

该数据库访问类别下的处理器能够从数据库中选择或插入数据,或者执行并准备其他 SQL 语句。这些处理器主要使用 Apache NiFi 的数据连接池控制器设置。该类别下的某些处理器有 ExecuteSQL、PutSQL、PutDatabaseRecord、ListDatabaseTables 等。

Attribute Extraction Processors

属性提取处理器负责在 NiFi 数据流中提取、分析、更改流文件属性的处理。该类别下的某些处理器有 UpdateAttribute、EvaluateJSONPath、ExtractText、AttributesToJSON 等。

System Interaction Processors

系统交互处理器用于在任何操作系统中运行进程或命令。这些处理器还以多种语言运行脚本,以便与各种系统进行交互。该类别下的某些处理器有 ExecuteScript、ExecuteProcess、ExecuteGroovyScript、ExecuteStreamCommand 等。

Data Transformation Processors

属于数据转换的处理器能够更改流文件的内容。当用户必须将流文件作为 HTTP 正文发送到 invokeHTTP 处理器调用时,这些处理器通常可以用于完全替换流文件的数据。该类别下的某些处理器有 ReplaceText、JoltTransformJSON 等。

Sending Data Processors

发送数据处理器通常是数据流中的最终处理器。这些处理器负责将数据存储或发送到目标服务器。在成功存储或发送数据后,这些处理器将中断与流文件的关系。该类别下的某些处理器有 PutEmail、PutKafka、PutSFTP、PutFile、PutFTP 等。

Splitting and Aggregation Processors

这些处理器用于分割和合并流文件中存在的内容。该类别下的某些处理器有 SplitText、SplitJson、SplitXml、MergeContent、SplitContent 等。

HTTP Processors

这些处理器处理 HTTP 和 HTTPS 调用。该类别下的某些处理器有 InvokeHTTP、PostHTTP、ListenHTTP 等。

AWS Processors

AWS 处理器负责与 Amazon Web Services 系统进行交互。该类别下的某些处理器有 GetSQS、PutSNS、PutS3Object、FetchS3Object 等。