Tag Archives: wget使用代理

最近用wget抓一个e文站的时候中断后不能继续，后来才发现是目标站服务器屏蔽了我的服务器的ip地址，应该是抓的太狠被发现了。。。 之前一直用的curl之类php函数，最近才用的exec()调用服务器系统命令wget来抓，发现效率绝对高啊，可惜副作用就是抓的频率太快，（一秒钟大约5-10篇）会遭到有防范的目标服务器屏蔽，解决办法就是用http代理了。 wget用http代理的方法很简单，但是效率会大打折扣。 要让wget使用代理进行下载只需要在执行wget的用户目录内添加.wgetrc文件，然后在改文件内添加http_proxy=ip:port即可 例如执行wget的用户是root，那么在root目录里添加一个文件.wgetrc内容是 http_proxy=8.8.8.8:80 8.8.8.8是代理服务器的ip地址，80是端口 这样再执行wget的时候就会通过8.8.8.8:80的代理服务器来进行下载了。