wget使用代理的方法

最近用wget抓一个e文站的时候中断后不能继续,后来才发现是目标站服务器屏蔽了我的服务器的ip地址,应该是抓的太狠被发现了。。。
之前一直用的curl之类php函数,最近才用的exec()调用服务器系统命令wget来抓,发现效率绝对高啊,可惜副作用就是抓的频率太快,(一秒钟大约5-10篇)会遭到有防范的目标服务器屏蔽,解决办法就是用http代理了。
wget用http代理的方法很简单,但是效率会大打折扣。
要让wget使用代理进行下载只需要在执行wget的用户目录内添加.wgetrc文件,然后在改文件内添加http_proxy=ip:port即可
例如执行wget的用户是root,那么在root目录里添加一个文件.wgetrc内容是
http_proxy=8.8.8.8:80
8.8.8.8是代理服务器的ip地址,80是端口
这样再执行wget的时候就会通过8.8.8.8:80的代理服务器来进行下载了。

This entry was posted in Code and tagged , , , . Bookmark the permalink. [167 views]

Related Posts

Comments are closed.