Scrapy 简明教程

Scrapy - Environment

在本章中，我们将讨论如何安装和设置 Scrapy。Scrapy 必须与 Python 一起安装。

可以通过 pip 安装 Scrapy。要安装，运行以下命令 −

pip install Scrapy

Note - 在 Windows 操作系统上不支持 Python 3。

Step 1 - 从 Python 安装 Python 2.7

通过将以下路径添加到 PATH 来设置环境变量 −

C:\Python27\;C:\Python27\Scripts\;

你可以使用以下命令来检查 Python 版本 −

python --version

Step 2 - 安装 OpenSSL 。

在你的环境变量中添加 C:\OpenSSL-Win32\bin。

Note - OpenSSL 预装在除 Windows 以外的所有操作系统中。

Step 3 - 安装 Visual C++ 2008 再发行包。

Step 4 - 安装 pywin32 。

Step 5 - 为早于 2.7.9 的 Python 安装 pip 。

你可以使用下面的命令检查 pip 版本 -

pip --version

Step 6 - 要安装 scrapy，运行以下命令 -

pip install Scrapy

如果你计算机上已安装了 anaconda 或 miniconda ，运行下面的命令使用 conda 安装 Scrapy -

conda install -c scrapinghub scrapy

Scrapinghub 公司支持 Linux、Windows 和 OS X 的官方 conda 包。

Note - 如果你在使用 pip 安装时遇到问题，建议通过上面的命令安装 Scrapy。

最新版的 Python 已预先安装在 Ubuntu 操作系统上。使用由 Scrapinghub 提供的 Ubuntu 包 aptgettable。要使用这些包 -

Step 1 - 你需要将用于对 Scrapy 包进行签名的 GPG 密钥导入 APT 密钥环 -

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

Step 2 - 接下来，使用下面的命令创建 /etc/apt/sources.list.d/scrapy.list 文件 -

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee
/etc/apt/sources.list.d/scrapy.list

Step 3 - 更新包列表并安装 scrapy -

sudo apt-get update && sudo apt-get install scrapy

你可以使用下面的命令从 AUR Scrapy 包安装 Scrapy -

yaourt -S scrapy

使用下面的命令安装 Xcode 命令行工具 -

xcode-select --install

安装一个新的更新版本而不是使用系统 Python，该版本不会与系统中的其他部分发生冲突。

Step 1 - 安装 homebrew 。

Step 2 - 设置环境 PATH 变量，以指定 homebrew 包应在系统包之前使用 -

echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

Step 3 - 要确保已经完成更改，使用以下命令重新加载 .bashrc -

source ~/.bashrc

Step 4 - 接下来，使用下面的命令安装 Python -

brew install python

Step 5 - 使用下面的命令安装 Scrapy -

pip install Scrapy