h1ip代理库自动去重与更新策略公开：免费代理ip池长期可用的秘密h1作为公司重要的品牌灵魂，代理IP归属地修改有着杰出的表现，通过市场的检验，仍然有着强劲的发展态势。斑斓星球专为技术交流打造！我们专注提供代理IP、软路由、服务器等核心网络技术服务与资源。https://sk5ip.com.cn/

h2为什么你的代理IP池越跑越少90%的人死在“重复”和“过期”h2很多刚入坑爬虫的小伙伴，把上抓来的免费代理ip一股脑塞进Redis，结果第二天一看，60%超时，30%连不上，剩下10%还是同一家IDC的重复段，封IP直接团灭。问题就出在：没有去重、没有定时更新、没有健康度评分。今天把我自己用了年的“IP代理库自动去重与更新策略”公开，照着抄，你也能把代理池做成“日更10万、重复率3%”的永动机。

h2核心思路：把代理IP当“生鲜”，保质期只有300秒h2代理IP不是石头，今天能跑，明天就废。我的做法是给每条IP打“分钟保质期”：1)爬下来先不急着入库，放进“待检队列”；2)开50个协程，每IP并发测一次目标（不是测百度，而是测你真正要爬的那个），响应2秒算存活；3)存活立刻写Redis，key用ip:port的md5，过期时间300秒，天然去重；4)300秒后Redis自动淘汰，避免“僵尸IP”占坑。一句话：让Redis帮你“过期即焚”，省得写定时任务删数据。

h2去重算法：URL去重那一套别照搬，IP段+端口+协议维判重h2很多人直接用字符串哈希，结果1152391234:8080和1152391235:8080被当成两条，其整段C类都是同一家机房，封就封一片。我把IP拆成四段，掩码24位，组合成1152391230_8080_当仅有键，24小时内同一C段+端口+协议只保留比较的一条，重复率直接砍到3%以下。再狠一点，可以上GeoIP，把“-浙江-杭州-阿里云”直接打标签，同区域只留两条做冗余，其余扔掉，省钱省内存。

h2更新策略：让“免费代理”变成你的打工仔h2免费代理比较怕反爬，我用“班倒”：上午爬“代理”，下午爬“89免费”，夜里爬“ProxyList+”，每个源配不同User-Agent+10秒随机延迟，一天能薅2万条不重复。重点：别一口气薅完，写个“增量时间戳”，只抓“比较新发布”那一页，RSS、外汇L、JSON端点都行，减少对方服务器压力，自己也少被ban。抓到的新IP立刻丢进“待检队列”，走完“分钟保质期”流程，才算真正入库。整套流程用Airflow画DAG，失败自动重跑，手机收到钉钉告警，安心睡大觉。

h2健康度评分：给IP打“信用分”，低于60直接踢h2光去重不够，还要“赛马”。我给每条IP建个哈希表：

连续成功+1分，连续失败-3分；

响应3秒-1分；

被目标403-5分。初始70分，低于60立即删除，并写进“黑单”RedisSet，7天内不再采信。高分IP先弹出，爬虫端不用自己重试，速度嗖嗖的。顺带把“高匿”“普匿”“透明”标签也一起打，业务需要高匿直接过滤，省得在代码里ifelse写一堆。

h2一键部署：Docker+Redis+Python，15分钟跑起来h2我把整套代码压成3个容器：1)proxy-fetcher：负责爬、解析、入待检；2)proxy-tester：负责并发测、打分、写Redis；3)proxy-api：Flask裸接口，get?country=CNanonymity=high随机一条高匿，支持s+jsonp，前端也能用。docker-composeup-d一把梭，2核4G的小水管道日更10万不卡。配置文件里把Redis密码、目标测速URL、扣分阈值全抽出来，改两行就能复用到任何项目。

h2常见坑Top3：谁踩谁哭h21)只测百度不测目标站：百度能通不代表你的电商站能通，测错等于白干；2)把“透明代理”当好代理：对方一眼就看到你家真IP，封你没商量；3)忘了给Redis设比较大内存：代理池一膨胀，直接把内存干爆，整站503。把这坑避开，你已经跑赢80%的同行。

h2写在比较后h2免费代理IP就像公共厕所，不挑就只能捏着鼻子用。上面这套“自动去重+更新+评分”组合拳，我亲测年，从日采1万到日采10万，重复率稳在3%以内，爬虫成功率从60%飙到92%。代码都公开了，拿去改改就能商用。采购代理IP请添加微信客户经理：