Tag Archives: linux

wget使用代理的方法

Posted on 2011/05/23 by pangel

最近用wget抓一个e文站的时候中断后不能继续，后来才发现是目标站服务器屏蔽了我的服务器的ip地址，应该是抓的太狠被发现了。。。 之前一直用的curl之类php函数，最近才用的exec()调用服务器系统命令wget来抓，发现效率绝对高啊，可惜副作用就是抓的频率太快，（一秒钟大约5-10篇）会遭到有防范的目标服务器屏蔽，解决办法就是用http代理了。 wget用http代理的方法很简单，但是效率会大打折扣。 要让wget使用代理进行下载只需要在执行wget的用户目录内添加.wgetrc文件，然后在改文件内添加http_proxy=ip:port即可 例如执行wget的用户是root，那么在root目录里添加一个文件.wgetrc内容是 http_proxy=8.8.8.8:80 8.8.8.8是代理服务器的ip地址，80是端口 这样再执行wget的时候就会通过8.8.8.8:80的代理服务器来进行下载了。

Posted in Code | Tagged , , , | 评论关闭 [164 views]

linux下用Imagemagick批量处理图片

Posted on 2011/04/06 by pangel

因为采集的时候为了加快速度所以未对采集的图片做缩小尺寸和压水印的操作，最后导致图片占用了服务器上有90GB的空间，为了减小图片所占的空间顺便加上水印便用了Imagemagick命令行工具在linux下对所有的图片进行了尺寸缩小以及添加水印，经过实践发现这个方法的效率远远超出在采集的时候对图片进行操作，以下是操作笔记以备日后查阅。 首先安装Imagemagick 我的是debian系统 #Debian安装imagemagick apt-get install imageMagick -y #这里可能很多同学会发现系统会提示未找到安装包，可以先执行 apt-get update && apt-get -f upgrade #再执行 apt-get install imageMagick -y #如果还是提示未找到安装包之类的就执行 aptitude install imagemagick 如果是centos的系统当然就得执行 yum install imageMagick -y 安装完ImageMagick 编写批量处理图片的脚本 #!/bin/bash for each in /home/www/website/imgfloder/*{.jpg,.gif,.png} do s=`du -k $each … Continue reading →

Posted in Code | Tagged , , , , , | 评论关闭 [103 views]

eAccelerator-0.9.6安装笔记

Posted on 2010/02/10 by pangel

cd tmp wget http://bart.eaccelerator.net/source/0.9.6/eaccelerator-0.9.6.tar.bz2 tar -jxvf eaccelerator-0.9.6.tar.bz2 cd eaccelerator-0.9.6 /usr/bin/phpize ./configure –enable-eaccelerator=shared –with-php-config=/usr/bin/php-config make make install （注：以上文中“phpize”以及“php-config”的路径如果不知道可以使用find命令事先查找一下。） 安装完毕编辑php.ini将其安装为 PHP extension 模式 在php.ini中添加如下： extension="eaccelerator.so" eaccelerator.shm_size="16" eaccelerator.cache_dir="/tmp/eaccelerator" eaccelerator.enable="1" eaccelerator.optimizer="1" eaccelerator.check_mtime="1" eaccelerator.debug="0" eaccelerator.log_file = "/var/log/httpd/eaccelerator_log" eaccelerator.filter="" eaccelerator.shm_max="0" eaccelerator.shm_ttl="0" eaccelerator.shm_prune_period="0" eaccelerator.shm_only="0" eaccelerator.compress="1" eaccelerator.compress_level="9" 最后创建/tmp/eaccelerator目录 … Continue reading →

Posted in Code | Tagged , , | 评论关闭 [100 views]

Zeus+php+Zend for Linux安装指南

Posted on 2005/10/13 by pangel

Zeus+php+Zend Optimizer for Linux安装指南 本文是Crossday第一篇unix作文，基于linux而写出。zeus是一个著名的web服务器软件，其效能远在apache1/2之上，是整台服务器用户跑论坛的首选，对内存小于1G而流量非常大的用户，换用zeus会比apache多获得一倍的负载能力。 本文提供方法在redhat linux 7.3及以上各版本，PHP 4.3.0及以上版本，Zend Optimizer 2.1.0验证通过，所配置参数为适应每15分钟在线1000人以上的，使用Discuz! 2.0/3.0的中大型论坛所优化 进入一个目录 如 cd /usr/local/src 找一个zeus 4.2 r3 for linux的破解版本下载 wget http://download.discuz.net/zeus_linux.tgz tar xvzf zeus_linux.tgz cd Zeus.Web.Server.v4.2r3.Linux.x86/ tar xvzf Zeus_42r3_Linux-glibc2.1.tgz cd Zeus_42r3_Linux-glibc2.1/ 开始安装 ./zinstall 按CTRL+C 打入accept Where should the … Continue reading →

Posted in Code | Tagged , , , | 评论关闭 [375 views]

Linux的配置与优化

Posted on 2005/10/13 by pangel

Linux作为一个免费的类似UNIX的操作系统，正日益受到人们的重视。本人作为一名Linux爱好者，出于学习，比较了各种不同的Linux发行套件，安装过各种Linux的发行套件，但是每一次安装完成，大量的配置与优化工作花费笔者许多时间，并且非常容易遗漏一些细节。本文以安装与使用RedHat 6.1为例，参考了/usr/doc/HOWTO/Config-HOWTO文档，结合自己的工作经验，谈一些自己的做法。以下的做法基本上适合各种liunx发行套件。 一、关于硬盘分区 关于安装Linux如何建立硬盘分区、交换分区等问题，已经超出本文范围，但是我的经验是安装Linux时一定要建立单独的分区，用于存储用户的私人数据，同时可以用于备份系统的配置文件（如像域名服务器，Samba的配置文件等），便于以后配置。 二、编辑/etc/inittab文件 大部分Linux的发行套件都建立六个虚拟控制台，实际上三个已经足够，并且可以节省可贵的内存空间。编辑/etc/inittab文件，在下面三行的前面加上#。 4:2345:respawn:/sbin/mingetty tty4 5:2345:respawn:/sbin/mingetty tty5 6:2345:respawn:/sbin/mingetty tty6 然后执行init q，使系统重新读取/etc/inittab文件，关闭tty4、tty5、tty6虚拟控制台。如果不考虑系统的安全，你可以利用第四个虚拟控制台来查看各种系统信息，编辑/etc/syslog.conf文件，在最后一行加入： *.* /dev/tty4 最后再执行killall -HUP syslog。 三、建立或者编辑/etc/inputrc、/etc/profile、/etc/bashrc文件 虽然最近几年个人计算机的潮流已经从命令行方式转向图形方式，采用鼠标操作，但是shell在Linux中依然有很强的生命力。shell有好几种，主要有bash、ksh、tcsh、zsh、ash， 用得最多的是bash。只要编辑/etc/inputrc文件，设置INPUTRC的环境变量，利用Tab键的命令补全功能，就可以实现类似于MSDOS的DOSKEY的功能。这样对文件与目录的各种操作，也一样方便与快捷。(附/etc/inputrc文件) __________________________________________________________________ set bell-style none # don’t beep set meta-flag on # allow 8-bit input set convert-meta off # … Continue reading →

Posted in Code | Tagged , | 评论关闭 [301 views]

Linux系统中网络配置详解

Posted on 2005/10/13 by pangel

从linux诞生的那一天起,就注定了它的网络功能空前地强大.所以在linux系统中如何配置网络,使其高效,安全的工作就显得十分重要.下面我们就从网络设备的安装,网络服务的设置和网络安全性三个方面来介绍一下linux系统中网络的设置. 一.安装和配置网络设备 　　在安装linux时,如果你有网卡,安装程序将会提示你给出tcp/ip网络的配置参数,如本机的ip地址,缺省网关的ip地址,DNS的ip地址等等.根据这些配置参数,安装程序将会自动把网卡(linux系统首先要支持)驱动程序编译到内核中去.但是我们一定要了解加载网卡驱动程序的过程,那么在以后改变网卡,使用多个网卡的时候我们就会很容易的操作.网卡的驱动程序是作为模块加载到内核中去的,所有linux支持的网卡驱动程序都是存放在目录/lib/modules/(linux版本号)/net/ ,例如inter的82559系列10/100M自适应的引导网卡的驱动程序是eepro100.o,3COM的3C509 ISA网卡的驱动程序是3C509.o,DLINK的pci 10网卡的驱动程序是via-rhine.o,NE2000兼容性网卡的驱动程序是ne2k-pci.o和ne.o.在了解了这些基本的驱动程序之后,我们就可以通过修改模块配置文件来更换网卡或者增加网卡. 　　1. 修改/etc/conf.modules 文件 　　这个配置文件是加载模块的重要参数文件,大家先看一个范例文件 　　#/etc/conf.modules 　　alias eth0 eepro100 　　alias eth1 eepro100 　　这个文件是一个装有两块inter 82559系列网卡的linux系统中的conf.modules中的内容.alias命令表明以太口(如eth0)所具有的驱动程序的名称,alias eth0 eepro100说明在零号以太网口所要加载的驱动程序是eepro100.o.那么在使用命令 modprobe eth0的时候,系统将自动将eepro100.o加载到内核中.对于pci的网卡来说,由于系统会自动找到网卡的io地址和中断号,所以没有必要在conf.modules中使用选项options来指定网卡的io地址和中断号.但是对应于ISA网卡,则必须要在conf.modules中指定硬件的io地址或中断号, 如下所示,表明了一块NE的ISA网卡的conf.modules文件. 　　alias eth0 ne 　　options ne io=0×300 irq=5 　　在修改完conf.modules文件之后,就可以使用命令来加载模块,例如要插入inter的第二块网卡: 　　#insmod /lib/modules/2.2.14/net/eepro100.o 　　这样就可以在以太口加载模块eepro100.o.同时,还可以使用命令来查看当前加载的模块信息: 　　[root@ice /etc]# lsmod 　　Module Size … Continue reading →

Posted in Code | Tagged , | 评论关闭 [314 views]
Page 1 of 212