scrapyd 启动_综合

在centos 上安装 scrapyd

1. pip3 install scrapyd2. 后台启动vi /etc/init.d/scrapyd```#!/bin/bashPORT=6800# 这一项可修改为项目地址HOME="/var/scrapyd"BIN="/usr/local/bin/scrapyd"pid=`netstat -lnopt | grep :$PORT | awk '/python/{gsub(/\/python/,"",$7);print $7;}'`start() {if [ -n "$pid" ]; thenecho "server already start,pid:$pid"return 0ficd $HOMEnohup $BIN >> $HOME/scrapyd.log 2>&1 &echo "start at port:$PORT"}stop() {if [ -z "$pid" ]; thenecho "not find program on port:$PORT"return 0fi#结束程序，使用讯号2，如果不行可以尝试讯号9强制结束kill -9 $pidecho "kill program use signal 9,pid:$pid"}status() {if [ -z "$pid" ]; thenecho "not find program on port:$PORT"elseecho "program is running,pid:$pid"fi}case $1 instart)start;;stop)stop;;status)status;;*)echo "Usage: {start|stop|status}";;esacexit 0```
3. 修改文件权限chmod 755 /etc/init.d/scrapyd
4. 启动 Scrapyd 服务service scrapyd start
5. 查看程序当前状态和进程号（pid）service scrapyd status
6. 结束 Scrapyd 进程service scrapyd stop

外网可以访问：
find / -name scrapd
在这里插入图片描述
到这个目录里面找到一个 default_scrapyd.conf 文件，然后打开
修改 bind_address=0.0.0.0

启动：service scrapyd start
有很大的可能出现问题。不急，这里是版本的问题

web.Server Traceback (most recent call last):builtins.AttributeError: 'int' object has no attribute 'splitlines'

回退版本
scrapy1.6.0
twisted18.9.0

如果安装 twisted 出现了问题，不慌，看看是不是这个错误
在这里插入图片描述
可能是安装 python的时候少了东西，安装一下
yum install python3-devel

最后启动一下service scrapyd start
启动发现还是有问题
刹车 service scrapyd stop
netstat -ntlp 发现进程还在
kill 掉，然后手动启动 scrapyd ，允许一下发现没有问题，于是再后台启动了一下。