爬虫 ---模拟登录

模拟登录

模拟登陆是什么鬼?

有些时候,我们在爬取某些网站内容的时候,网站要求登录后才能操作..,但是处理验证码;

模拟登陆的流程

对登录页面进行请求,从请求的页面源码中解析下载验证码图片

使用打码平台对验证码进行识别

基于登录按钮发起一个post请求(处理参数)

模拟登录的意义和作用

爬取基于某些用户的用户信息,获取cookie

验证码识别

三方工具:云打码平台--->识别验证码种类比较全,无法处理滑动验证码.

云打码平台

使用流程如下:

#使用流程

1.注册

2.登录

- 普通用户 --->查询剩余题分(可充值)

- 开发者用户

创建软件：我的软件-》添加新软件（ID，秘钥）

下载示例代码：开发文档-》点此下载：云打码接口DLL-》PythonHTTP示例下载

Cookies的应用和处理

cookies : 服务端记录客户端的状态

处理cookies的方式

手动处理 : 不建议,(通用性不强,有些验证码动态生成)

自动处理 : 会话对象Session,该对象可以像requests一样进行网络请求发送(get,post),session进行的请求发送可以自动携带和处理cookie.

使用requests模块和session对象的区别

session会携带参数进行请求,而requests不会.

代理ip

1.为什么使用代理 ?

访问频率过高,导致ip被封禁,因此要使用代理.

2.常见代理服务器 有哪些?

快代理 西祠代理 goubanjia

3. 匿名度

透明:对方服务器知道你的使用了代理ip,也知道你的真实ip

匿名:知道你使用了代理ip但是不知道你的真实ip

高匿:什么都不知道

4.请求类型类型

#两种http和https

- http：只可以发起http请求

- https：只可以发起https的请求

5.应用场景

#代理ip的应用 -->proxies参数 提供字典键值对http/https 代理ip地址即可

url = 'http://www.baidu.com/s?wd=ip'

page_text = requests.get(url=url,headers=headers,proxies={'http':'117.127.0.202:80'}).text

with open('./ip.html','w',encoding='utf-8') as fp:

fp.write(page_text)

print('完成')

6.为什么要应用代理池?

为了应用更多的代理ip,增加效率