Scrapy 简明教程
Scrapy - Web Services
Description
一个正在运行的 Scrapy 网络爬虫可以通过 JSON-RPC 控制。它通过 JSONRPC_ENABLED 设置启用。此服务通过 JSON-RPC 2.0 协议提供对主爬虫对象的访问。用于访问爬虫程序对象的端点为 −
http://localhost:6080/crawler下表包含显示 Web 服务行为的一些设置 −
Sr.No |
Setting & Description |
Default Value |
1 |
JSONRPC_ENABLED 这指布尔值，它决定 Web 服务及其扩展名是否启用。 |
True |
2 |
JSONRPC_LOGFILE 这指用于记录向 Web 服务发出的 HTTP 请求的文件。如果未设置，将使用标准 Scrapy 日志。 |
None |
3 |
JSONRPC_PORT 这指 Web 服务的端口范围。如果设置为无，则将动态分配端口。 |
[6080, 7030] |
4 |
JSONRPC_HOST 这指 Web 服务应监听的接口。 |
'127.0.0.1' |