python requests请求url,有些网站页面出现:网页不存在(404),301 & 302 跳转的问题,抓取到的页面不是原地址,而是跳转后的页面,通过使用禁止重定向来实现判断。
使用方法:allow_redirects=False
方法示例:
url = www.example.com
r = requests.get(url, timeout=20, allow_redirects=False)
status_code = r.status_code
if status_code == 200:
print(url)
通过禁止重定向,并判断原页面状态码是否是200,实现个人需求。