暂无说说

python代理池proxypool

爬虫 jiajun 1周前 (09-12) 56次浏览 0个评论 扫描二维码

github 上搜索 proxypool,可以搜到很多 proxytool 项目仓库。这里主要介绍

https://github.com/Python3WebSpider/ProxyPool 的使用

1、操作环境

Python3.5 以上版本

Redis

python下载地址:https://www.python.org/downloads/windows/

redis 下载地址:https://github.com/MicrosoftArchive/redis/releases

redisdesktop 下载地址:https://github.com/MicrosoftArchive/redis/releases

2、下载 proxytool

git clone https://github.com/Python3WebSpider/ProxyPool.git

3、安装依赖包

cd ProxyPool
mkvirtualenv proxypool
pip install -r requirements.txt

4、启动 proxypool

python run.py

启动 proxypool 后会自动爬取网络上代理 ip 并测试写入 redis 中,也可以自定义抓取。

redis 中的可用代理

5、浏览器获取代理 ip

每次输入 http://localhost:5555/random 都可以随机获取一个代理 ip,proxypool 通过随机获取有效代理,首先尝试获取最高分数代理,如果不存在,按照排名获取,否则异常。

6、代码中获取代理

import requests

PROXY_POOL_URL = 'http://localhost:5555/random'
def get_proxy():
    try:
        response = requests.get(PROXY_POOL_URL)
        if response.status_code == 200:
            return response.text
    except ConnectionError:
        return None

 


mathslib , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:python 代理池 proxypool
喜欢 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址