如何搭建属于自己的代理ip池

技术如何搭建属于自己的代理ip池如何搭建属于自己的代理ip池,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。今天这篇文章会搭建一个属于自己的代理ip池,所

如何搭建自己的代理ip池,本文详细介绍了相应的分析和解决方案,希望能帮助更多想要解决这个问题的合作伙伴找到更简单、更容易的方法。

今天,本文将构建一个自己的代理ip池。所以为了不出尔反尔,我写了这篇文章,就不多谈了,言归正传。

一个

目标网站

要抓取代理ip,你还需要找到一个网页,这个网页提供这些代理ip。我知道几家免费提供代理ip的网站,如下所示:

无忧代理ip

芝麻代理ip

Xici代理ip

连云代理ip

我选择爬西刺特工的网站。

2

分析网站结构。

我们需要获取高隐藏代理,按F12打开开发者工具如何搭建属于自己的代理ip池

上面我们需要获取的数据是ip地址、端口和类型。可以看到,这些数据都在一个tr标签中,但是有两个不同的tr标签,这样我们就可以使用正则表达式先匹配整个内容,然后匹配重要信息。最后,只要让他看起来像这样,{'https': 'https://ip:端口'}就可以存储在列表中了。最后,你可以随机获取一个ip,然后你可以判断它是否有用,然后在这个时候用它作为你项目的代理ip,判断是否用的方法就是随便拿一个百度获取别的网站,加上代理ip发送get请求,看看status_code()的返回码是不是200,,就像下面这样如何搭建属于自己的代理ip池

代码部分

1.匹配数据,并挑选数据存入列表

如何搭建属于自己的代理ip池

2.随机获取ip,并写好ip格式

如何搭建属于自己的代理ip池

我把他放在这里的列表中,现在我正在使用它,因为我目前的爬行动物项目非常小,这就是我所需要的。

以上就是我简单搭建的代理ip池。以后逐渐完善的时候,可以存储在你的数据库里,想用的时候再随机拿出来。先看看是不是没用,没用就删,有用就用。

关于如何建立自己的代理ip池的答案,我希望在这里分享。

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/54428.html

(0)

相关推荐

  • 铁与稀硝酸反应,少量铁和稀硝酸反应离子方程式

    技术铁与稀硝酸反应,少量铁和稀硝酸反应离子方程式(1)少量铁与稀硝酸反应(或铁粉与过量稀硝酸反应)的方程式:Fe+4HNO3(稀)=Fe(NO3)3+NO↑+2H2O
    离子方程式为:
    Fe+4H+ +NO3-==Fe3

    生活 2021年10月26日
  • django项目怎么安装(django的安装教程怎么进入d盘)

    技术django如何安装和实现第一个页面小编给大家分享一下django如何安装和实现第一个页面,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!w

    攻略 2021年12月20日
  • Python正则表达式技巧有哪些

    技术Python正则表达式技巧有哪些本篇内容介绍了“Python正则表达式技巧有哪些”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够

    攻略 2021年12月1日
  • 什么是分布式数据库和TIDB 整体架构

    技术什么是分布式数据库和TIDB 整体架构这篇文章给大家介绍什么是分布式数据库和TIDB 整体架构,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。TIDB 是一个分布式,强一致的可水平扩展的关系型数据

    攻略 2021年12月1日
  • debug D命令如何查看指定地址及其之后的128字节的内容

    技术debug D命令如何查看指定地址及其之后的128字节的内容debug D命令如何查看指定地址及其之后的128字节的内容,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到

    攻略 2021年11月11日
  • 抖音赞在哪买,哪里抖音刷赞最安全?

    技术抖音赞在哪买,哪里抖音刷赞最安全?抖音应该是最近比较火的软件了,对此,大家都不陌生吧,很多的用户发个视频就好几十万的赞,其实都是可以刷的!要想上精选有必要要有播放量等等一系列数据,这个数据很的重要,没有数据就没有展现

    测评 2021年10月20日