python + webdriver
在使用webdriver 之前，我们首先搞清楚另一个问题，selenium是什么？
**Selenium是一个用于Web应用程序测试的工具。 Selenium 测试直接运行在浏览器中，就像真正的用户在操作一样。 支持的浏览器包括IE,Mozilla和Firefox等。**
本次我们就是selenium来模拟登录
1.安装环境，如何安装 selenium
so easy 具体跟以往装的一些python依赖库什么的很相似
我们打开命令窗口（当然你是安装过settools的，不懂的自己百度， 我们打开python安装目录 shift+鼠标右键 命令窗口）
#cmd下 运行该命令.
pip install selenium
如果已经安装需要查看版本 python 回车 import selenium help(selenium)
我装的是selenium 3.4.3版本的
2.webdriver 的使用，webdriver使用很简单
一般用这个 就可以直接调用
driver=webdriver.Firefox()
driver.get(url)
到了这里你是不是觉得很简单，如果你用的是火狐 或者 谷歌老旧 版本，你可能运行不会报错 如果是新版本恭喜入坑
接下来我们先解决 webdriver.Firefox() 报错问题
我们需要下载一个驱动，火狐有狐火的驱动，谷歌的驱动，百度下都有
我们以火狐为例，首先下载驱动
[火狐驱动下载连接]：(http://download.csdn.net/detail/eb_num/9901579)
下载完毕后，我们将放在python安装的目录下，如图所示 在环境变量中配置path 添加本地的 火狐浏览器安装目录 如果是谷歌自己百度下载一个驱动，跟火狐一样，放在python目录下就OK 了
下来放 大招，看下具体代码：
我具体取的是这个页面.
#学信网信息爬取
import bottle
import pymysql
from bottle import route, run
from selenium import webdriver
import time
#数据库连接
def con_mysql(sql):
try:
# 获取一个数据库连接，注意如果是UTF-8类型的，需要制定数据库
conn = pymysql.connect(host='localhost', user='root', passwd='admin', db='test', port=3306, charset='utf8')
cur = conn.cursor() # 获取一个游标
cur.execute(sql)
cur.close() # 关闭游标
conn.close() # 释放数据库资源
except Exception:
print("发生异常")
#页面登录
def login(username, password):
url = 'https://account.chsi.com.cn/passport/login?service=https://my.chsi.com.cn/archive/j_spring_cas_security_check'
driver=webdriver.Firefox()
driver.get(url)
#模拟登录
driver.find_element_by_id('username').send_keys(username)
driver.find_element_by_id('password').send_keys(password)
driver.find_element_by_xpath(".//*[@id='fm1']/input[3]").click()
#让这家伙睡会 O(∩_∩)O哈哈~ 为什么要睡呢，这是为了模拟手动登录，防止被封
time.sleep(3)
driver.refresh()
#以上模拟登录算是完成了
driver.get("https://my.chsi.com.cn/archive/gdjy/xj/show.action")#具体要爬取那个页面数据就是那个页面的URL
time.sleep(2)
#sql语句我们 参数传值的形式
sql = '''
INSERT INTO xue_xin_info VALUES((SELECT REPLACE(UUID(),'-','')),
'{u_name}','{sex}','{birthday}','{nation}','{identified}',
'{school_name}','{leve}','{major}','{year_}','{edu_class}',
'{learning}','{branch_institute}','{department}','{class1}','{stu_no}',
'{entrance_school}','{graduate_time}','{state}','{photo_address}',NOW())
'''
uname=driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[1]/td[1]").text
u_sex=driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[1]/td[2]").text
#2
u_birthday=driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[2]/td[1]").text
u_nation=driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[2]/td[2]").text
#3
u_identified=driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[3]/td[1]").text
u_school_name=driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[3]/td[2]").text
#4
u_leve=driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[4]/td[1]").text
u_major=driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[4]/td[2]").text
#5
u_year_=driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[5]/td[1]").text
u_edu_class=driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[5]/td[2]").text
#6
u_learning=driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[6]/td[1]").text
u_branch_institute= driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[6]/td[2]").text
#7
u_department=driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[7]/td[1]").text
u_class=driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[7]/td[2]").text
#8
u_stu_no=driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[8]/td[1]").text
u_entrance_school=driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[8]/td[2]").text
#9
u_graduate_time=driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[9]/td[1]").text
u_state=driver.find_element_by_xpath(".//table[@class='mb-table']/tbody/tr[9]/td[2]").text
driver.get_screenshot_as_file(r"D:\pythonPath\\"+username+".jpg")
PHaddress ="D:\pythonPath\\"+username+".jpg"
inser_sql = sql.format(u_name=uname, sex=u_sex, birthday=u_birthday, nation=u_nation, identified=u_identified,
school_name=u_school_name, leve=u_leve,major=u_major,year_=u_year_,edu_class=u_edu_class,
learning=u_learning,branch_institute=u_branch_institute,department=u_department,class1=u_class,
stu_no=u_stu_no,entrance_school=u_entrance_school,graduate_time=u_graduate_time,state=u_state, photo_address=PHaddress)
print(inser_sql)
con_mysql(inser_sql)
driver.close()
#最后我们可以测试一下
def main():
username='用户名'
password='密码'
login(username, password)
if __name__ =="__main__":
main()
至此 我们使用webdriver 就可以成功实现登录！如果有什么问题，可以留言沟通