wget使用代理的方法

Posted on 2011/05/23 by pangel

最近用wget抓一个e文站的时候中断后不能继续，后来才发现是目标站服务器屏蔽了我的服务器的ip地址，应该是抓的太狠被发现了。。。
之前一直用的curl之类php函数，最近才用的exec()调用服务器系统命令wget来抓，发现效率绝对高啊，可惜副作用就是抓的频率太快，（一秒钟大约5-10篇）会遭到有防范的目标服务器屏蔽，解决办法就是用http代理了。
wget用http代理的方法很简单，但是效率会大打折扣。
要让wget使用代理进行下载只需要在执行wget的用户目录内添加.wgetrc文件，然后在改文件内添加http_proxy=ip:port即可
例如执行wget的用户是root，那么在root目录里添加一个文件.wgetrc内容是
http_proxy=8.8.8.8:80
8.8.8.8是代理服务器的ip地址，80是端口
这样再执行wget的时候就会通过8.8.8.8:80的代理服务器来进行下载了。

Posted in Code | Tagged , , , | 评论关闭 [164 views]

Lucky Dog

Posted on 2011/05/13 by pangel

《Lucky Dog》，新西兰的乐透彩票创意广告，狗狗很可爱剧情很感人。
多说几句背景音乐，看完这个广告相信很多人会很喜欢这首背景音乐，背景音乐是来自Nick Cave的《To Be By Your Side》，这首歌是法国纪录片《迁徙的鸟》影片最后的片尾背景音乐，大爱。Nick Cave微带悲伤的声音沉旋低回，空远，划过的空气流以及开初的钢琴声，断续的鼓声以及鸟们飞翔时候的声音，成为影片最后一次舒缓而些许忧伤的滑翔，前方不远，就是故乡。

《To Be By Your Side》完整mp3试听
《To Be By Your Side》
Across the oceans, across the seas.
飞过海洋，越过那海面
Over forests of blackened trees.
穿过漆黑的丛林
Through valleys so still we dare not breathe.
飞越那静寂得让我们无法呼吸的山谷
To be by your side.
只为去到你身边

Over the shifting desert plains.
飞过那充满流沙的平原
Across mountains all in flames.
越过喷发的火山
Through howling winds and fringing rains.
飞越狂风骤雨
To be by your side.
只为去到你身旁

Every mile and every year.
每一里，每一年
For everyone a little tear.
每个人的每一滴泪
I can not explain this, dear.
亲爱的，我如何向你说
I will not even try.
我甚至不想试

Into the night as the stars collide.
在深夜里翅膀掠过星光
Across the border that divide.
越过边境，飞向边缘
Forest of stone standing petrified.
飞过耸立岩石森林
To be by your side.
去到你身边

Every mile and every year.
每一里路和每一年
For everyone a single tear.
每个人的一滴泪
I can not explain this, dear.
亲爱的，我如何向你述说
I will not even try.
我甚至不想去试

For I know one thing.
Love comes on a wing.
我只知道，爱充溢于飞翔的翅膀
For tonight I will by your side.
But tomorrow I will fly.
今夜，我将伴着你身边
而明天，我将继续飞翔

From the deepest oceans to the highest peak.
从最深的海洋到最高的山峰
Through the frontiers of your sleep
穿行在你沉睡的边缘
Into the valley where we dare not speak.
进入沉寂得让我们无法说话的山谷
To be by your side..
去到你的身边

Posted in Music | Tagged , , , , , , | 评论关闭 [29 views]

js脚本取得客户端浏览器尺寸的问题

Posted on 2011/04/22 by pangel

弄了个弹出层居中固定的脚本，使用了document.body.clientHeight和document.body.clientWidth来取得浏览器当前尺寸用来设定弹出的层的位置，弄来弄去高度总是不对，无论如何总是弹出在浏览器内容页总高度的一半。

整了半天才发现如果页面使用了web标准声明则取得客户端浏览器可视区域的尺寸的时候就必须使用document.documentElement.clientXXXX而如果是未进行web标准声明的则使用document.body.clientXXXX即可。

什么是web标准声明？就是页面最开始的这一句了。
这个web标准声明有时候会对调试造成很大的麻烦，有的时候为了简单调试的时候写一个空页面不会加上这一句，调试的时候可能没有问题，正式用在页面的时候当然页面上肯定是有这个web声明的，可能就会出现不一样的结果，再出现类似情况，这个web声明的问题是首先要排查的因素。

做个备忘，小问题浪费大时间，草!

Posted in Code | Tagged , , , , | 评论关闭 [21 views]

linux下用Imagemagick批量处理图片

Posted on 2011/04/06 by pangel

因为采集的时候为了加快速度所以未对采集的图片做缩小尺寸和压水印的操作，最后导致图片占用了服务器上有90GB的空间，为了减小图片所占的空间顺便加上水印便用了Imagemagick命令行工具在linux下对所有的图片进行了尺寸缩小以及添加水印，经过实践发现这个方法的效率远远超出在采集的时候对图片进行操作，以下是操作笔记以备日后查阅。
首先安装Imagemagick
我的是debian系统

#Debian安装imagemagick
apt-get install imageMagick -y
#这里可能很多同学会发现系统会提示未找到安装包，可以先执行
apt-get update && apt-get -f upgrade
#再执行
apt-get install imageMagick -y
#如果还是提示未找到安装包之类的就执行
aptitude install imagemagick

如果是centos的系统当然就得执行

yum install imageMagick -y

安装完ImageMagick
编写批量处理图片的脚本

#!/bin/bash
for each in /home/www/website/imgfloder/*{.jpg,.gif,.png}
do
s=`du -k $each | awk '{print $1}'`
if [ $s -gt 10 ]; then
    convert -quality 80 -resize '750x540>' $each $each
    composite -gravity southeast -dissolve 80 /home/www/website/watermark.png $each $each 2>/dev/null
    echo "$each: done!"
fi
done
exit 0

说明：
以上脚本处理的时候处理后的图片会覆盖原始图片
/home/www/website/imgfloder/，这是待处理图片的目录，即，将对该目录内的所有图片处理
if [ $s -gt 10 ]，表示不对大小小于10kb的图片进行处理
convert -quality 80 -resize ’750×540>’，表示处理后的图片质量为原图片的80%，并对尺寸大于750*540的图片缩小至此范围内，而对小于此尺寸的不做处理。
-gravity southeast，这个决定图片水印的位置south就是南east就是东也就是图片的右下角。
-dissolve 80，这个是设置水印的透明度的80代表透明度，这个数值越小越透明。

最后将脚本存储后执行就可以了，例如将脚本存为crimg.sh，执行sh ./crimg.sh即可。

Posted in Code | Tagged , , , , , | 评论关闭 [103 views]

修改Firefox查看网页源代码的字体

Posted on 2011/03/30 by pangel

firefox在windows系统下的查看网页源代码字体又大又难看，可读性太差，不过既然是开源软件当然可以方便的修改这个设置。
找到Firefox的安装目录，然后打开目录下的res目录，找到viewsource.css文件，在viewsource.css文件中的#viewsource定义部分，添加字体设置即可，当然除了字体名称可以添加设置外，字体的颜色以及行距等都是可以设置的，就跟css样式表的定义完全一样，下面是我的设置，可以参考。

#viewsource {
  font-family: Consolas,"Courier New";
  font-weight: normal;
  white-space: pre;
  font-size:12px;
  line-height:18px;
}
Posted in Code | Tagged , | 评论关闭 [69 views]

nginx开启目录直读做简单文件服务器

Posted on 2011/03/24 by pangel

编辑nginx.conf文件，在location server 或 http段中加入
autoindex on;
#开启目录直读
autoindex_exact_size off;
#on，显示文件大小的确切值，单位是bytes。
#off，显示文件大小的大概值，单位是KB或者MB或者GB
autoindex_localtime on;
#off，显示的文件时间为GMT时间。
#on后，显示的文件时间为文件所在服务器的本地时间。

完成后重启nginx，访问没有index的目录就会以目录直读的方式显示目录下的文件了，样式跟apache的差不多。

Posted in Web Server | 评论关闭 [119 views]
Page 2 of 4712345...Last »