Varnish是一个轻量级的Cache和反向代理软件，先进的设计理念和成熟的设计框架是Varnish的主要特点，现在的Varnish总共代码量不大，功能上虽然在不断改进，但是还需要继续丰富和加强。下面总结了Varnish的一些特点：
（1）是基于内存缓存，重启后数据将消失。
（2）利用虚拟内存方式，io性能好。
（3）支持设置0~60秒内的精确缓存时间。
（4）VCL配置管理比较灵活。
（5）32位机器上缓存文件大小为最大2G。
（6）具有强大的管理功能，例如top，stat，admin，list等。
（7）状态机设计巧妙，结构清晰。
（8）利用二叉堆管理缓存文件，达到积极删除目的。
Varnish的Storage方式可分为两种：
1）Malloc 通过malloc获取内存。
2）Mmap file 创建大文件，通过二分法分段映射成1G以内的大块。
Varnish进程的工作模式：
varnish启动或有2个进程 master(management)进程和child(worker)进程。master读入存储配置命令，进行初始化，然后fork，监控child。child则分配线程进行cache工作，child还会做管理线程和生成很多worker线程。
child进程主线程初始化过程中，将存储大文件整个加载到内存中，如果该文件超出系统的虚拟内存，则会减少原来配置mmap大小，然后继续加载，这时候创建并初始化空闲存储结构体，放在存储管理的struct中，等待分配。
接着varnish某个负责接口新http连接的线程开始等待用户，如果有新的http连接，但是这个线程只负责接收，然后唤醒等待线程池中的work线程，进行请求处理。
worker线程读入uri后，将会查找已有的object，命中直接返回，没有命中，则会从后端服务器中取出来，放到缓存中。如果缓存已满，会根据LRU算法，释放旧的object。对于释放缓存，有一个超时线程会检测缓存中所有object的生命周期，如果缓存过期（ttl），则删除，释放相应的存储内存。
Varnish的实际压力测试:
硬件环境
PowerEdge R610
硬件环境 CPU Intel(R) Xeon(R) CPU E5620 @ 2.40GHz
内存 12G
硬盘 单盘raid0（150G * 3块）
软件环境
OS版本 centos5.4
Kernal 2.6.18-164.el5
varnishd 2.1.5
测试工具:
消减网络频宽/吞吐量,在相同服务器上生成负载,使用Apache Bench工具(修改后的ab)模仿线上访问，将百万的url请求以顺序的方式读取，然后用2台服务器启动多个ab一次产生的请求500个请求循环N次请求到varnish服务器。
测试前设置：
1）先将测试机内核可以同时打开的文件描述符的最大值设置到65535。（ulimit -HSn 65532）
2） 强制内核不要使用SWAP分区。（echo 0 > /proc/sys/vm/swappiness ）
Varnish的Storage方式
1)malloc 通过malloc获取内存。
2) Mmap file 创建大文件，通过二分法分段映射成1G以内的大块。
综合测试
1） Malloc 方式
启动命令：
/opt/varnish-2.1.5/sbin/varnishd -u www -g www -f /opt/varnish-2.1.5/etc/varnish/varnish.vcl -s malloc,2G -w 10,5000,10 -T 192.168.1.100:3500
测试详细数据：
varnish压测类型: varnish压测数据
His/s: 1.8W/s
压测文件大小: 15K（平均）
CPU状态(idle%): 60%
两块网卡流量: 200M（打满）
磁盘的繁忙程度: 0%
命中率: 98%
2） Mmap file方式
启动命令：
/opt/varnish-2.1.5/sbin/varnishd -u www -g www -f /opt/varnish-2.1.5/etc/varnish/varnish_test.vcl -s file,/data0/varnish_cache/cache_data.txt,2G -w 10,5000,10 -T 192.168.1.100:3500
测试详细数据：
varnish压测类型: varnish压测数据
His/s: 1.8W/s
压测文件大小: 15K（平均）
CPU状态(idle%): 50%
两块网卡流量: 200M（打满）
磁盘的繁忙程度: 100%
命中率: 98%
参数详解：
-f 指定配置文件
-s 选项用来确定 varnish 使用的存储类型和存储容量，我使用的是 malloc 类型（malloc 是一个 C 函数，用于分配内存空间）， 1G 定义多少内存被 malloced，1G =1gigabyte。
-w min[,max[,timeout]]指定线程最小和最大空闲时间。这是一个设置thread_pool_min和thread_pool_max、thread_pool_timeout的捷径。如果只有一个值被指定，那么thread_pool_min和thread_pool_max都是用这个值。Thread_poll_timeout会失效。
-T Varnish 有一个基于文本的管理接口，启动它的话可以在不停止 varnish 的情况下来 管理 varnish。
-t ttl 指定最小的TTL给cache中的内容。这是一个捷径设置default_ttl run-time 选项。
综合分析
从varnish服务器的总体上来看，在每秒并发1.8W左右的情况下，采用缓存方式以Mmap file和Malloc方式都会导致两块网卡跑满，但以Mmap file的缓存方式启动I/O也会形成瓶颈，原因主要是varnish缓存的数据先会刷到磁盘上，然后在一次行读到内存中，这在访问量大的时候同时也会对I/O造成很大的压力。Malloc缓存方式虽然对I/O没有压力，因所有缓存数据都写到内存中。
Varnish与Squid的对比
说到Varnish，不能不提Squid，Squid是一个高性能的代理缓存服务器，它和varnish之间有诸多的异同点，这里分析如下：
下面是他们之间的相同点：
（1）都是一个反向代理服务器。
（2）都是开源软件。
下面是它们的不同点，也是Varnish的优点：
（1）Varnish的稳定性很高，两者在完成相同负荷的工作时，Squid服务器发生故障的几率要高于Varnish，因为使用Squid要经常重启。
（2）Varnish访问速度更快，Varnish采用了“Visual Page Cache”技术，所有缓存数据都直接从内存读取，而squid是从硬盘读取，因而Varnish在访问速度方面会更快。
（3）Varnish可以支持更多的并发连接，因为Varnish的TCP连接释放要比Squid快。因而在高并发连接情况下可以支持更多TCP连接。
（4）Varnish可以通过管理端口，使用正则表达式批量的清除部分缓存，而Squid是做不到的。
（5） squid属于是单进程使用单核CPU，但Varnish是通过fork形式打开多进程来做处理，所以是合理的使用所有核来处理相应的请求。
当然，与传统的Squid相比，Varnish也是有缺点的，列举如下：
1）varnish进程一旦Hang、Crash或者重启，缓存数据都会从内存中完全释放，此时所有请求都会发送到后端服务器，在高并发情况下，会给后端服务器造成很大压力。
2）在varnish使用中如果单个url的请求通过HA/F5（负载均衡）每次请求不同的varnish服务器中，被请求varnish服务器都会被穿透到后端，而且同样的请求会在多台服务器上缓存，也会造成varnish的缓存的资源浪费，也会造成性能下降。
解决方案：
1）综上所述在访问量很大的情况下推荐使用varnish的内存缓存方式启动，而且后面需要跟多台squid服务器。主要为了防止前面的varnish服务、服务器被重启的情况下，前期肯定会有很多的穿透这样squid可以担当第二层CACHE，而且也弥补了varnish缓存在内存中重启都会释放的问题。
2）这样的问题可以在负载均衡上做url哈希，让单个url请求固定请求到一台varnish服务器上，可以解决该问题。
注：上面的解决方法还需要全面的测试，没有经过证实。
具体的vcl配置如下：
- backend myblogserver {
- .host = "192.168.1.100";
- .port = "80";
- }
- acl local {
- "localhost";
- "192.168.0.0"/16;
- }
- sub vcl_recv {
- if (req.http.host ~ "^a.com"
- set req.backend = myblogserver;
- }
- else {
- error 404 "Unknown HostName!";
- }
- if (req.request == "PURGE") {
- if (!client.ip ~ local) {
- error 405 "Not Allowed.";
- }
- return (lookup);
- }
- if (req.request == "GET" && req.url ~ "\.(jpg|png|gif|swf|jpeg|ico)$") {
- unset req.http.cookie;
- }
- elseif (req.request == "GET" && req.url ~ "dpc=1$") {
- unset req.http.cookie;
- }
- if (req.http.x-forwarded-for) {
- set req.http.X-Forwarded-For = req.http.X-Forwarded-For ", " client.ip;
- } else {
- set req.http.X-Forwarded-For = client.ip;
- }
- if (req.request != "GET" &&
- req.request != "HEAD" &&
- req.request != "PUT" &&
- req.request != "POST" &&
- req.request != "TRACE" &&
- req.request != "OPTIONS" &&
- req.request != "DELETE") {
- return (pipe);
- }
- if (req.request != "GET" && req.request != "HEAD") {
- return (pass);
- }
- if (req.http.Authorization || req.http.Cookie) {
- return (pass);
- }
- if (req.request == "GET" && req.url ~ "\.(php)$") {
- return (pass);
- }
- return (lookup);
- }
- sub vcl_pipe {
- return (pipe);
- }
- sub vcl_pass {
- return (pass);
- }
- sub vcl_hash {
- set req.hash += req.url;
- if (req.http.host) {
- set req.hash += req.http.host;
- } else {
- set req.hash += server.ip;
- }
- return (hash);
- }
- sub vcl_hit {
- if (!obj.cacheable) {
- return (pass);
- }
- if (req.request == "PURGE") {
- set obj.ttl = 0s;
- error 200 "Purged.";
- }
- return (deliver);
- }
- sub vcl_miss {
- if (req.request == "PURGE") {
- error 404 "Not in cache.";
- }
- }
- sub vcl_fetch {
- if (!beresp.cacheable) {
- return (pass);
- }
- if (beresp.http.Pragma ~ "no-cache" || beresp.http.Cache-Control ~ "no-cache" || beresp.http.Cache-Control ~ "private") {
- return (pass);
- }
- if (req.request == "GET" && req.url ~ "\.(mp3|jpg|png|gif|swf|jpeg|ico)$") {
- set beresp.ttl = 7d;
- }
- if (req.request == "GET" && req.url ~ "\.(js|css)$") {
- set beresp.ttl = 1d;
- }
- elseif (req.request == "GET" && req.url ~ "dpc=1$") {
- set beresp.ttl = 7d;
- }
- return (deliver);
- }
- sub vcl_deliver {
- set resp.http.x-hits = obj.hits ;
- if (obj.hits > 0) {
- set resp.http.X-Cache = "HIT cqtel-bbs";
- } else {
- set resp.http.X-Cache = "MISS cqtel-bbs";
- }
- }
最开始禁用QQ是用iptables的七层补丁，但那个是针对源ip去禁用QQ的特征码，现在我们要做的是想针对QQ号做处理。另外，之前认为QQ是用udp连接服务器的8000端口，然后试着把udp的8000端口禁用，发现和我们游戏一样，发现这个端口不通，会去用另外的备用端口，比如tcp的80和443之类的端口，所以通过禁用端口这是行不通的，而且服务器地址不定。
注意到iptables有个-m string –hex-string 这个匹配方式，有个string模块，有个抓数据包，然后做drop处理的方式，下面就去抓包。
工具：SmartSniff
QQ号码：858276842
电脑ip：192.168.3.7
网关：linux iptables nat环境
思路：QQ号码需要通信，先得到QQ号码的十六进制。
echo “obase=16;858276842″ | bc
得到QQ号码的十六进制332843EA。
下面抓包的时候多注意到33 28 43 EA 这种字符。
第一个框是QQ号，第二个和第三个是经过多次登陆，和登陆不同QQ号得到的“特征码”
每次登陆都需要有这个字符，所以试着匹配这个字符，然后drop。看看效果，
另外有个差异的就是QQ2011的Q+版本特征码不一样，看下面的截图65变成了64
针对QQ2011 Q+版本
iptables -I RH-Firewall-1-INPUT -s 192.168.3.7/32 -m string –hex-string “|0000010101000064|” –algo bm -j DROP
QQ2012的时候匹配的是0000010101000065，会出现已经登陆的QQ不会掉线的情况，但是会出现重复收到好友发送过来的消息，可能是因为收到消息之后无法通知服务器已经收到，所以服务器重复发送好友的消息过来，但是下线之后会无法上线。
当匹配的是00010101000065，前面少匹配一个00，已经登陆的QQ发现会出现无法发送消息的情况。
iptables -I RH-Firewall-1-INPUT -s 192.168.3.7/32 -m string –hex-string “|0000010101000065|” –algo bm -j DROP
开白名单的时候只需要匹配到那个QQ号，然后ACCEPT处理就可以了，比如858276842这个QQ号码，可以抓包得到是33 28 43 ea，也可以通过计算得到，为了减小误差，后面可以多匹配0200这个后缀。
iptables -I RH-Firewall-1-INPUT -s 192.168.3.7/32 -m string –hex-string “|332843ea0200|” –algo bm -j ACCEPT
经测试百发百中。
echo “obase=16; 858276842″ | bc这样可以得到QQ号码的16进制。当然也有例外的情况，当十六进制前面有个0的时候，系统默认会把0去掉，我们可以做个特殊处理，当是奇数的时候前面自动加0，用的是awk
echo “obase=16;120729239″|bc | awk -F “” ‘{if(NF%2==”0″) {print $0} else {print “0″$0 }}’
另外可以通过抓包得到哪个ip在登陆哪个QQ号，具体操作方法是在网关上面抓包。
tcpdump -nn -i eth1 -X ‘host 192.168.3.7′
可以加个参数 –w file，把结果写到文件里面去，好做分析，之后有同意的方法-r读取这个文件就可以了，在文件里面把十六进制的空格去掉，用sed ‘s/ //g’就可以了，然后去搜索特征码0200，前面的那几位就是QQ号码的十六进制了，十六进制转换十进制可以用shell的echo命令巧妙地实现：
echo $((16#179CF5F1))
得到QQ：396162545
所以最终的实行方法是
#允许的QQ先ACCEPT放行，
iptables -I RH-Firewall-1-INPUT -m string –hex-string “|332843ea0200|” –algo bm -j ACCEPT
#拒绝所有QQ2012和Q+的登陆
iptables -I RH-Firewall-1-INPUT -m string –hex-string “|0000010101000065|” –algo bm -j DROP
iptables -I RH-Firewall-1-INPUT -m string –hex-string “|0000010101000064|” –algo bm -j DROP
有待做大范围的验证。
附做测试时候保存的QQ数据包:
这个是Q+的。
