一直在用php在写爬虫,好久没遇到过被爬的页面被重定向了。
在curl的时候 需要配置一个参数
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,1);
这句加上可以允许curl获取到跳转后的网页内容,
默认是不获取自动跳转到的,加上这句就可以了,
又可以愉快的Spider了
循序而渐进 厚积而薄发 博观而约取
一直在用php在写爬虫,好久没遇到过被爬的页面被重定向了。
在curl的时候 需要配置一个参数
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,1);
这句加上可以允许curl获取到跳转后的网页内容,
默认是不获取自动跳转到的,加上这句就可以了,
又可以愉快的Spider了