python爬虫----基础知识

		#                       python 爬虫的概念 
	
		#  爬虫是什么 ？ 
	
		网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端(主要指浏览器)发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。
	
		# 爬虫的流程 
	
		1. 获取一个url
	
		2. 向url发送请求，并获取响应（需要http协议）
	
		3. 如果从响应中提取url，则继续发送请求获取响应
	
		4. 如果从响应中提取数据，则将数据进行保存
	
		#                       http协议复习 
	
		# http以及https的概念和区别 
	
		  http：超文本传输协议，默认端口号是80
	
		  https:http+sll证书，即带有安全套的超文本传输协议，默认端口443
	
		# 特别关注的请求头字段 
	
		 Content-Type (传输的类型)
	
		 Host (主机和端口号)
	
		 Connection (链接类型)
	
		 Upgrade-Insecure-Requests (升级为HTTPS请求)
	
		 User-Agent (浏览器名称)
	
		 Referer (页面跳转处)
	
		 Cookie (Cookie)
	
		 Authorization(用于存token)
	
		# 常见的响应状态码 
	
		200：成功
	
		302：跳转，新的url在响应的Location头中给出
	
		303：浏览器对于POST的响应进行重定向至新的url
	
		307：浏览器对于GET的响应重定向至新的url
	
		403：资源不可用；服务器理解客户的请求，但拒绝处理它（没有权限）
	
		404：找不到该页面
	
		500：服务器内部错误
	
		503：服务器由于维护或者负载过重未能应答
	
		#  http请求的过程 
	
		1. 在浏览器输入网站，会先去本地的host文件中查看是否有对应的网址ip，在去dns服务器中查找
	
		2. 浏览器在拿到域名对应的ip后，先向地址栏中的url发起请求，并获取响应 （请求的时候还有 握手动作）
	
		3. 在返回的响应内容（html）中，会带有css、js、图片等url地址，以及ajax代码，浏览器按照响应内容中的顺序依次发送其他的请求，并获取相应的响应
	
		4. 浏览器每获取一个响应就对展示出的结果进行添加（加载），js，css等内容会修改页面的内容，js也可以重新发送请求，获取响应
	
		5. 从获取第一个响应并在浏览器中展示，直到最终获取全部响应，并在展示的结果中添加内容或修改————这个过程叫做浏览器的  渲染