Apache Flume 简明教程

Apache Flume - Environment

我们已经在上一章讨论了 Flume 的架构。在本章中，让我们看看如何下载并设置 Apache Flume。

在继续进行之前，您的系统中必须有 Java 环境。所以首先，确保您已经在系统中安装了 Java。在本教程的一些示例中，我们使用了 Hadoop HDFS（作为接收方）。因此，我们建议您安装 Hadoop 以及 Java。要收集更多信息，请访问链接 https://www.tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm

Installing Flume

首先，从网站 https://flume.apache.org/ 下载最新版本的 Apache Flume 软件。

Step 1

打开该网站。点击主页左侧的 download 链接。它将带您到 Apache Flume 的下载页面。

installing flume

Step 2

在“下载”页面中，您可以看到 Apache Flume 的二进制文件和源文件的链接。点击 apache-flume-1.6.0-bin.tar.gz 链接

您将被重新定向到一个镜像列表，您可以通过点击其中任何一个镜像开始下载。同样，您可以通过点击 apache-flume-1.6.0-src.tar.gz 下载 Apache Flume 的源代码。

Step 3

在安装 Hadoop 、 HBase 和其他软件的安装目录所在的同一个目录中创建一个名为 Flume 的目录（如果您已经安装了任何软件），如下所示。

$ mkdir Flume

Step 4

解压已下载的 tar 文件，如下所示。

$ cd Downloads/
$ tar zxvf apache-flume-1.6.0-bin.tar.gz
$ tar zxvf apache-flume-1.6.0-src.tar.gz

Step 5

将 apache- flume-1.6.0-bin.tar 文件的内容移动到前面创建的 Flume 目录中，如下所示。（假设我们在名为 Hadoop 的本地用户中创建了 Flume 目录。）

$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/

Configuring Flume

若要配置 Flume，我们必须修改三个文件，即 flume-env.sh, flumeconf.properties, 和 bash.rc 。

Setting the Path / Classpath

在 .bashrc 文件中，为 Flume 设置主页文件夹、路径和类路径，如下所示。

setting the path

conf Folder

如果你打开 Apache Flume 的 conf ，你将有以下四个文件 −

  1. flume-conf.properties.template,

  2. flume-env.sh.template,

  3. flume-env.ps1.template, and

  4. log4j.properties.

conf folder

现在将

  1. flume-conf.properties.template 文件重命名为 flume-conf.properties 和

  2. flume-env.sh.template as flume-env.sh

flume-env.sh

打开 flume-env.sh 文件并将 JAVA_Home 设置到你在系统里安装 Java 的文件夹。

flume env sh

Verifying the Installation

通过浏览 bin 文件夹并输入以下命令，确认 Apache Flume 的安装。

$ ./flume-ng

如果你已经成功安装 Flume，你将得到一个如图所示的 Flume 帮助提示。

verifying the installation