世界上最好的语言，PHP定时验证代理IP的可用性

bigegpt 2024-10-09 08:01 4 浏览

上一篇文章给大家介绍了如何使用PHP做一个小型网络爬虫，今天就利用上次爬到的代理IP讲一讲代理IP的验证。至于为什么说PHP是世界上最好的语言，我也不知道，听别人说的，我个人比较喜欢java，以后有机会与大家分享我的学习之路。

我们为什么需要对代理IP进行验证呢？要知道我们在网络中抓到的代理IP数量很大，但能用的往往连十之一二都不到，在使用前剔除掉不能用的IP就能提高我们的工作效率。

首先说说思路：上次我们已经将抓到的IP和端口都放进了我们的MySQL数据表中，要验证肯定需要取出来，然后通过PHP中curl函数设置代理，再访问百度或者其他能访问到的网站，通过返回的状态码是否等于200来判断代理IP是不是可以正常使用的。

由于代码太长，一些不必要的代码就不贴出来了，下面看看curl验证代理IP的核心代码。

//代理IP验证方法 function GetHttpStatusCode($proxy){ $curl = curl_init(); curl_setopt ($curl, CURLOPT_PROXY, $proxy);//使用代理访问 curl_setopt($curl,CURLOPT_URL,"http://www.baidu.com");//获取内容url curl_setopt($curl,CURLOPT_HEADER,1);//获取http头信息 curl_setopt($curl,CURLOPT_NOBODY,1);//不返回html的body信息 curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);//返回数据流，不直接输出 curl_setopt($curl,CURLOPT_TIMEOUT,5); //超时时长，单位秒 curl_exec($curl); $rtn= curl_getinfo($curl,CURLINFO_HTTP_CODE); curl_close($curl); return $rtn; }

调用GetHttpStatusCode(代理IP地址:端口)方法就能返回该代理IP在访问百度首页时所返回的状态码，在需要的地方对状态码进行判断就能加以利用了。

我在数据表中加入了抓取到代理IP的时间和代理IP被验证的时间，已经存活的时间，这样代理IP的稳定性就一目了然了。

这是验证后的结果，整整100个IP，最后就剩下10个左右，看来在使用之前对代理IP进行验证还是很有必要的。

ip查询代码

上一篇：什么是HTTP 503错误?教你多种妙招修复它!
下一篇：除Python外，PHP也能做爬虫?PHP定时爬取代理IP

世界上最好的语言，PHP定时验证代理IP的可用性

相关推荐

无缓存不行?例行升级的入门级阿斯加特AN2 SSD装机点评

Ceph运维手册(基于P版本)

Docker 命令大全（docker命令大全记录表）

替代Docker build的Buildah简单介绍

Docker Desktop安装使用指南:零基础教程

Tensorflow分类loss函数总结 tensorflow绘制loss曲线

R语言学习笔记(七) -离散型数据的模型预测2

服务器硬件RAID性能横评(2)（服务器常用raid技术）

Python教程:第9篇字符串基本操作

k8s中三种POD调度策略介绍 k8s pod间调用

世界上最好的语言，PHP定时验证代理IP的可用性

相关推荐

无缓存不行?例行升级的入门级阿斯加特AN2 SSD装机点评

Ceph运维手册(基于P版本)

Docker 命令大全（docker命令大全记录表）

替代Docker build的Buildah简单介绍

Docker Desktop安装使用指南:零基础教程

Tensorflow分类loss函数总结 tensorflow绘制loss曲线

R语言学习笔记(七) -离散型数据的模型预测2

服务器硬件RAID性能横评(2)（服务器常用raid技术）

Python教程:第9篇 字符串基本操作

k8s中三种POD调度策略介绍 k8s pod间调用

Python教程:第9篇字符串基本操作