crawlabdocker使用

　　默认已有docker compose环境

配置镜像：

1
2
3
{
  "registry-mirrors": ["https://registry.docker-cn.com"]
}

下载命令：

1
docker pull tikazyq/crawlab:latest

3. 安装 Docker-Compose

docker-compose是一个集群管理方式，可以让我们更方便的管理crawlab

安装 docker-compose 其实比较简单，在安装了 pip 的情况下（Python 3），执行以下命令。

1
pip install docker-compose

安装好后可以执行 docker-compose ps 来查看docker集群运行状况 如下：

1
2
3
Name   Command   State   Ports
------------------------------
------------------------------

这是没有 Docker 容器在运行的情况，也就是空列表。如果有容器在运行，可以看到其对应的信息。

参考crawlab官方文档

docker集群配置项

在拉取的项目中配置docker-compose.yml 文件：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
version: '3.3'  # Docker Compose 的版本号（请看后续说明）
services:  # 服务
  master:  # 服务名称
    image: tikazyq/crawlab:latest  # 服务对应的镜像名称
    container_name: master  # 服务对应的容器名称
    environment:  # 这里定义传入的环境变量
      CRAWLAB_API_ADDRESS: "localhost:8000"  # 前端调用的 API 地址，默认为 localhost:8000
      CRAWLAB_SERVER_MASTER: "Y"  # 是否为主节点，Y/N
      CRAWLAB_MONGO_HOST: "mongo"  # MongoDB host，由于在 Docker Compose 里，可以引用服务名称
      CRAWLAB_REDIS_ADDRESS: "redis"  # Redis host，由于在 Docker Compose 里，可以引用服务名称
    ports:  # 映射的端口
      - "8080:8080" # 前端端口
      - "8000:8000" # 后端端口
    depends_on: # 依赖的服务
      - mongo  # MongoDB
      - redis  # Redis
  worker:  # 工作节点，与主节点配置类似，不重复写了
    image: tikazyq/crawlab:latest
    container_name: worker
    environment:
      CRAWLAB_SERVER_MASTER: "N"
      CRAWLAB_MONGO_HOST: "mongo"
      CRAWLAB_REDIS_ADDRESS: "redis"
    depends_on:
      - mongo
      - redis
  mongo:  # MongoDB 服务名称
    image: mongo:latest  # MongoDB 镜像名称
    restart: always  # 重启策略为“总是”
    ports:  # 映射端口
      - "27017:27017"
  redis:  # Redis 服务名称
    image: redis:latest  # Redis 镜像名称
    restart: always  # 重启策略为“总是”
    ports:  # 映射端口
      - "6379:6379"

可以根据自己的要求来配置docker-compose.yml。尤其需要注意CRAWLAB_API_ADDRESS这个环境变量，错误会导致启动后访问不到后端接口
更多配置请参考 官方配置

爬虫部署

  1. scrapy环境安装（默认已有Python环境和pi包管理工具
1
pip install scrapy
  1. 创建工程
1
scrapy startproject 项目名
  1. 创建爬虫文件

先导航到已创建的工程下，然后再创建爬虫文件

1
2
cd 项目名
scrapy genspider fileName 目标网站

  1. 在 items.py 里定义需要抓取的数据属性

  2. 运行程序测试

1
scrapy crawl 爬虫名(fileName)
  1. 添加浏览器标识（有的网站也可不用添加就能访问）

打开 settings.py 取消 USER_AGENT 的注释，打开浏览器里按F12，找到 USER_AGENT 复制到 settings 文件中

  1. 在settings.py文件中找到ITEM_PIPELINES,添加如下代码
1
2
3
ITEM_PIPELINES = {
   'crawlab.pipelines.CrawlabMongoPipeline': 888,
}

在爬取数据成功后就能看到对应的结果

需要到爬虫根目录下进行打包，也就是和scrapy.cfg同级进行打包(所有文件包括scrapy.cfg)

注意：打包成zip文件

当然还有更为简便的上传操作，使用CLI命令行工具 到官方文档查看具体教程，这里就不做概述

其他更多具体操作也请参考crawlab教程

到这你的爬虫应该可以成功运行了，如果失败请在任务详情里查看日志进行对应的修改。

3. 定时任务

这里主要讲述一下 Cron 定时器

相信对于学过bash脚本的朋友应该很简单，在cron行点击编辑会弹出一个生成 cron 的窗口，在下边有对应的定时操作，主需要选择你想要的时间即可。记住分、时、天、月、周每一个都需要选，否则不能保存