part1 selenium爬取BOSS直聘信息

• 首先我们先梳理一下需求：想要使用的工具，想要获取的信息，以及想要保存的位置
• 其次可以选择常规方式书写也可以考虑面向对象的方式进行功能封装
  • 这里采用常规方式书写
  • 关键需要注意的点也已注释的方式写出

import csv
import time
import json
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import pandas as pd
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.wait import WebDriverWait""" 1.使用selenium打开BOSS直聘，模拟浏览器执行筛选条件切换工作 2.切换城市为北京 3.搜索python相关工作 4.爬4页 5.保存数据到本地txt、json、csv或数据库mysql、redis、mongodb """if __name__=='__main__':# 1.实例化浏览器对象chrome_obj = webdriver.Chrome()# 2.最大化浏览器对象chrome_obj.maximize_window()# 3.获取网页chrome_obj.get('https://www.zhipin.com/shanghai/?ka=city-sites-101020100')# 4.切换招聘城市city_button = chrome_obj.find_element(By.XPATH, '//*[@id="header"]/div[1]/div[2]/p/span[1]').click()# city_button = chrome_obj.find_element_by_class_name('nav-city-selected').click()time.sleep