Apache Nifi 简明教程

Apache NiFi - Data Provenance

Apache NiFi 会记录和存储有关流中已摄取数据上发生的事件的每个信息。数据来源存储库会存储此信息,并提供界面来搜索此事件信息。既可以访问针对整个 NiFi 层级的数据来源,也可以访问针对处理程序层级的数据来源。

data provenance

下表列出了 NiFi 数据来源事件列表中各个字段,这些字段包括:

S.No.

Field Name

Description

1

Date/Time

事件的日期和时间。

2

Type

事件类型,例如“CREATE”。

3

FlowFileUuid

对其执行操作的流程文件的 UUID。

4

Size

Size of the flowfile.

5

Component Name

执行该事件的组件名称。

6

Component Type

Type of the component.

7

Show lineage

最后一列具有显示谱系图标,用于查看流程文件谱系,如下所示。

lineage icon

要获取有关该事件的更多信息,用户可以单击 NiFi Data Provenance UI 第一列中显示的信息图标。

nifi.properties 文件中有一些属性用于管理 NiFi Data Provenance 存储库。

S.No.

Property Name

Default Value

Description

1

nifi.provenance.repository.directory.default

./provenance_repository

指定 NiFi 数据出处的默认路径。

2

nifi.provenance.repository.max.storage.time

24 hours

指定 NiFi 数据出处的最大保留时间。

3

nifi.provenance.repository.max.storage.size

1 GB

指定 NiFi 数据出处的最大存储空间。

4

nifi.provenance.repository.rollover.time

30 secs

指定 NiFi 数据出处的切换时间。

5

nifi.provenance.repository.rollover.size

100 MB

指定 NiFi 数据出处的切换大小。

6

nifi.provenance.repository.indexed.fields

EventType、FlowFileUUID、Filename、ProcessorID、Relationship

指定用于搜索和编制 NiFi 数据出处索引的字段。