520那天我向心仪的女孩要微信:“女神,能给我你的微信号吗?”
女神:“给我——爬!!!!”
从那天开始,我就决定要学好爬虫,爬到女神微信号!!!
文章目录一、UA检测和UA伪装是什么?UA检测:UA伪装:二、使用步骤1.引入库2、完整代码(web采集器)`一、UA检测和UA伪装是什么?UA检测:UA检测是指服务器端对客户端请求中的User-Agent字段进行分析,以识别客户端使用的浏览器类型、版本、操作系统等信息。
UA伪装:UA伪装则是指修改或伪造请求中的User-Agent字段,使服务器端识别为另一款浏览器或设备。
就是模拟浏览器;
二、使用步骤1.引入库 import requests
``
2、完整代码(web采集器)该处使用的url网络请求的数据。
代码语言:javascript代码运行次数:0运行复制if __name__=="_main__":
#UA伪装:将对应的user-agent信息封装到headers(字典)中
headers={
'User-Agent':' 伪装网站的'
}
url =' +想弄的网站 '
#处理url携带的参数:封装到字典中
kw=input("enter a word:")
param={
'query':kw
}
#对指定的url发起的请求对应的url是携带参数的,并且请求过程中处理了参数(三个参数)
response=requests.get(url=url,params=param,headers=headers)
page_text = response.text
fileName =kw+'.html'
with open(fileName,'w',encoding='utf-8') as fp:
fp.write(page_text)
print(fileName,'保存成功')`