各位观众老爷,早上好(或者晚上好,取决于你啥时候看的),今天咱们来聊聊怎么自己动手定制代理规则,让你的网络世界更听话。我们主要讲讲用 JS FiddlerScript、Burp Extensions Python API 这几个工具,来玩转自定义代理,让你的爬虫更隐蔽,让你的测试更高效,让你的摸鱼……咳咳,总之,好处多多。 一、代理是个啥?为什么要自定义? 想象一下,你是一个特工,要秘密潜入敌方基地获取情报。直接冲进去肯定不行,太容易暴露。这时候就需要一个“中间人”,帮你伪装身份,传递信息。这个“中间人”就是代理。 代理服务器就像一个中转站,你的请求先发给代理服务器,再由代理服务器转发给目标服务器,目标服务器返回的数据也先到代理服务器,再由代理服务器返回给你。这样,目标服务器就不知道你的真实 IP 地址了。 为什么要自定义代理规则? 隐藏身份,防止被封: 爬虫抓取数据的时候,如果频率过高,或者行为过于明显,很容易被目标网站识别出来并封禁 IP。自定义代理规则可以让你轮换 IP,模拟不同的用户行为,降低被封的风险。 修改请求和响应: 有时候我们需要修改请求头、请求体,或者修改响应内容,才 …
继续阅读“JS `FiddlerScript` / `Burp Extensions` `Python` `API`:自定义代理规则”