python爬虫学习(3)——requests实战1(UA检测和UA伪装)

2025-05-03 12:13:08 3d世界杯

520那天我向心仪的女孩要微信:“女神,能给我你的微信号吗?”

女神:“给我——爬!!!!”

从那天开始,我就决定要学好爬虫,爬到女神微信号!!!

文章目录一、UA检测和UA伪装是什么?UA检测:UA伪装:二、使用步骤1.引入库2、完整代码(web采集器)`一、UA检测和UA伪装是什么?UA检测:UA检测是指服务器端对客户端请求中的User-Agent字段进行分析,以识别客户端使用的浏览器类型、版本、操作系统等信息。

UA伪装:UA伪装则是指修改或伪造请求中的User-Agent字段,使服务器端识别为另一款浏览器或设备。

就是模拟浏览器;

二、使用步骤1.引入库 import requests

``

2、完整代码(web采集器)该处使用的url网络请求的数据。

代码语言:javascript代码运行次数:0运行复制if __name__=="_main__":

#UA伪装:将对应的user-agent信息封装到headers(字典)中

headers={

'User-Agent':' 伪装网站的'

}

url =' +想弄的网站 '

#处理url携带的参数:封装到字典中

kw=input("enter a word:")

param={

'query':kw

}

#对指定的url发起的请求对应的url是携带参数的,并且请求过程中处理了参数(三个参数)

response=requests.get(url=url,params=param,headers=headers)

page_text = response.text

fileName =kw+'.html'

with open(fileName,'w',encoding='utf-8') as fp:

fp.write(page_text)

print(fileName,'保存成功')`

蛇蜕皮的知识看这里!(新手老手都应该了解)
电饭煲哪个牌子好用质量好?十大畅销品牌超全测评盘点