当前位置: 代码迷 >> 综合 >> Python爬虫实习笔记 | Week7 Daliy工作流水
  详细解决方案

Python爬虫实习笔记 | Week7 Daliy工作流水

热度:103   发布时间:2023-11-20 00:36:08.0

2018/11/26
1.所思所想
今天决心把一周的任务全部完成,这样,我就能安心做好自己的事情,之前制定好的计划——11,12月学完Python和MySQL,不能有任何妥协,在12月中旬前把Python核心编程前8Chapters及流畅的Python看完,如果需要花晚上时间也在所不惜。12月中旬到下旬,看完MySQL前8chapters。路漫漫,自己需要提升的地方还有很多。
2.工作
【1】今天主要是开会,开会自己很难听进去,原因在于自己对所提到的内容没有兴趣,对提到的内容还没有入手。之后需要不断端正态度,努力做好。
【2】信用等级任务的爬取,这周任务很快完成。
今天试着将鄂州市的图片记录转化为文字,发现效果不是很好。。

2018/11/27
1.所思所想
今天一直担心自己所学可能在项目中根本用不上,但是否值得继续学习呢,我觉得自己不应该抱持着功利主义者的想法,而应从后端工程师的职业发展角度来思考,这些确实是我所必须掌握的,而且后期还需要花很多时间去弥补的。所以说,是值得的。另外,今天看了别人的简历,虽然说简单明白,自己在这些方面还没有达到熟稔的地步,需要自己潜心修炼,达到自己理想的境界。
2.工作
【1】.Python网络编程看完,明天总结下。
【2】.Python多线程编程开始看起。

2018/11/28
1.所思所想
今天上午便把多线程编程看了下,主要是threading模块,它有3种主要的实现,分别是传函数、传类和子类继承。其次多线程编程只适合IO密集型的应用,对于计算密集型的应用,应使用多进程编程。之后多加总结,以求进步。

2.工作
题库
河南省
161-168
161 许昌市 get
162 漯河市 get
163 三门峡 文件 http://www.smxhb.gov.cn/index.aspx?lanmuid=76&sublanmuid=1132
164 南阳市 http://www.nyhbj.gov.cn/index.php?m=content&c=index&a=show&catid=85&id=1553 没找到
165 商丘市 aspx  http://shbj.shangqiu.gov.cn/Category_419/Index.aspx
166 信阳市 没找到
167 周口市 asp http://www.zkhb.gov.cn/newslist.asp?page=1&cid=32
168 驻马店市 http://www.zmdhbj.gov.cn/zmdhbj/vip_doc/12803392_683491_0_1.html

2018/11/29
1.所思所想:
潜心修炼Python基本功,当我和学长们交流,以及看学长们的代码时,觉得自己目前实力还远远不够,目前的主要问题在于Python基础还不牢靠,周一把Python网络编程和多线程编程好好总结下。另外,开始看Python数据库编程部分。网上的廖雪峰Python也需要每天看半小时,记录不足;Python框架还是要看的,一是Django,一是Scrapy。

2.工作
网络编程继续 + 开会

2018/11/30
1.所思所想:
暂时的落后并不代表一切,只有努力向上,才能破釜沉舟,赢得对未来的自信。
jieba
自然语言处理
scrapy框架
flask框架
验证码的处理
检测 --- 从黄云云走 到现在的更新; 能否实现定时更新
处罚 --- 下一页 页码的获取
流畅的Python