Microsoft Cognitive Toolkit 简明教程

Microsoft Cognitive Toolkit (CNTK) - CPU and GPU

Microsoft Cognitive Toolkit 提供了两种不同的构建版本，即仅限 CPU 和仅限 GPU。

Microsoft Cognitive Toolkit offers two different build versions namely CPU-only and GPU-only.

CPU only build version

仅限 CPU 的 CNTK 构建版本使用优化的 Intel MKLML，其中 MKLML 是 MKL（Math Kernel Library）的子集，并且随 Intel MKL-DNN 一起作为 Intel MKL 的终止版本发布，以供 MKL-DNN 使用。

The CPU-only build version of CNTK uses the optimised Intel MKLML, where MKLML is the subset of MKL (Math Kernel Library) and released with Intel MKL-DNN as a terminated version of Intel MKL for MKL-DNN.

GPU only build version

另一方面，仅限 GPU 的 CNTK 构建版本使用高度优化的 NVIDIA 库，例如 CUB 和 cuDNN 。它支持跨多个 GPU 和多个机器进行分布式训练。为了让 CNTK 在分布式训练中运行得更快，GPU 构建版本还包括： −

On the other hand, the GPU-only build version of CNTK uses highly optimised NVIDIA libraries such as CUB and cuDNN. It supports distributed training across multiple GPUs and multiple machines. For even faster distributed training in CNTK, the GPU-build version also includes −

  1. MSR-developed 1bit-quantized SGD.

  2. Block-momentum SGD parallel training algorithms.

Enabling GPU with CNTK on Windows

在上一节中，我们了解了如何安装 CNTK 的基本版本以与 CPU 配合使用。现在让我们讨论如何安装 CNTK 以与 GPU 配合使用。但是，在深入了解之前，你首先应该拥有一个受支持的显卡。

In the previous section, we saw how to install the basic version of CNTK to use with the CPU. Now let’s discuss how we can install CNTK to use with a GPU. But, before getting deep dive into it, first you should have a supported graphics card.

目前，CNTK 支持至少支持 CUDA 3.0 的 NVIDIA 显卡。要确保支持，你可以通过 https://developer.nvidia.com/cuda-gpus 检查你的 GPU 是否支持 CUDA。

At present, CNTK supports the NVIDIA graphics card with at least CUDA 3.0 support. To make sure, you can check at https://developer.nvidia.com/cuda-gpus whether your GPU supports CUDA.

因此，让我们了解一下在 Windows 操作系统上使用 CNTK 启用 GPU 的步骤 −

So, let us see the steps to enable GPU with CNTK on Windows OS −

Step 1 − 根据你正在使用的显卡，首先你需要为你的显卡配备最新的 GeForce 或 Quadro 驱动程序。

Step 1 − Depending on the graphics card you are using, first you need to have the latest GeForce or Quadro drivers for your graphics card.

Step 2 − 下载完驱动程序后，你需要从 NVIDIA 网站 https://developer.nvidia.com/cuda-90-download-archive?target_os=Windows&target_arch=x86_64 安装 Windows 版 CUDA 工具包版本 9.0。安装完毕后，运行安装程序并按照说明操作。

Step 2 − Once you downloaded the drivers, you need to install the CUDA toolkit Version 9.0 for Windows from NVIDIA website https://developer.nvidia.com/cuda-90-download-archive?target_os=Windows&target_arch=x86_64. After installing, run the installer and follow the instructions.

Step 3 − 接下来，你需要从 NVIDIA 网站 https://developer.nvidia.com/rdp/form/cudnn-download-survey 安装 cuDNN 二进制文件。使用 CUDA 9.0 版本时，cuDNN 7.4.1 会运行良好。基本上，cuDNN 是 CUDA 之上的一个层，由 CNTK 使用。

Step 3 − Next, you need to install cuDNN binaries from NVIDIA website https://developer.nvidia.com/rdp/form/cudnn-download-survey. With CUDA 9.0 version, cuDNN 7.4.1 works well. Basically, cuDNN is a layer on the top of CUDA, used by CNTK.

Step 4 − 下载 cuDNN 二进制文件后，你需要将 zip 文件解压缩到 CUDA 工具包安装的根文件夹中。

Step 4 − After downloading the cuDNN binaries, you need to extract the zip file into the root folder of your CUDA toolkit installation.

Step 5 − 这是最后一步，它将在 CNTK 中启用 GPU 使用。在 Windows 操作系统上的 Anaconda 提示符中执行以下命令 −

Step 5 − This is the last step which will enable GPU usage inside CNTK. Execute the following command inside the Anaconda prompt on Windows OS −

pip install cntk-gpu

Enabling GPU with CNTK on Linux

让我们了解一下如何在 Linux 操作系统上使用 CNTK 启用 GPU −

Let us see how we can enable GPU with CNTK on Linux OS −

Downloading the CUDA toolkit

首先，你需要从 NVIDIA 网站链接安装 CUDA 工具包：https://developer.nvidia.com/cuda-90-download-archive?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1604&target_type=runfilelocal[[role="bare"] [role="bare"]https://developer.nvidia.com/cuda-90-download-archive?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1604&target_type =runfilelocal]。

First, you need to install the CUDA toolkit from NVIDIA website link:https://developer.nvidia.com/cuda-90-download -archive?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1604&target_type=runfilelocal[[role="bare"]https://developer.nvidia.com/cuda-90-download-archive?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1604&target_type =runfilelocal].

Running the installer

现在，完成二进制文件下载后，打开终端并执行以下命令来运行安装程序，然后按照屏幕上的说明操作 −

Now, once you have binaries on the disk, run the installer by opening a terminal and executing the following command and the instruction on screen −

sh cuda_9.0.176_384.81_linux-run

Modify Bash profile script

在 Linux 电脑上安装 CUDA 工具包后，你需要修改 BASH 个人资料脚本。为此，首先在文本编辑器中打开 $HOME/.bashrc 文件。现在，在脚本的末尾，包含以下代码行 −

After installing CUDA toolkit on your Linux machine, you need to modify the BASH profile script. For this, first open the $HOME/ .bashrc file in text editor. Now, at the end of the script, include the following lines −

export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64\
${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
Installing

Installing cuDNN libraries

最后，我们需要安装 cuDNN 二进制文件。可以从 NVIDIA 网站 https://developer.nvidia.com/rdp/form/cudnn-download-survey 下载。使用 CUDA 9.0 版本时，cuDNN 7.4.1 会运行良好。基本上，cuDNN 是 CUDA 之上的一个层，由 CNTK 使用。

At last we need to install cuDNN binaries. It can be downloaded from NVIDIA website https://developer.nvidia.com/rdp/form/cudnn-download-survey. With CUDA 9.0 version, cuDNN 7.4.1 works well. Basically, cuDNN is a layer on the top of CUDA, used by CNTK.

下载 Linux 版本后，使用以下命令将其解压到 /usr/local/cuda-9.0 文件夹 −

Once downloaded the version for Linux, extract it to the /usr/local/cuda-9.0 folder by using the following command −

tar xvzf -C /usr/local/cuda-9.0/ cudnn-9.0-linux-x64-v7.4.1.5.tgz

根据需要更改路径到文件名。

Change the path to the filename as required.