Linux安装配置Varnish,一款高性能的开源HTTP加速器

日期:2019-09-26编辑作者:服务器

Varnish

Varnish是一款高性能的开源HTTP加速器,挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台Squid,性能比以前更好

Linux安装配置Varnish Web加速器

Varnish是一款高性能的开源HTTP加速器,它可以来做纯粹的代理服务器,负载均衡,但varnish最主要的功能是缓存加速,也是它最出色的地方。下面介绍在Linux下如何安装和使用。

一、环境

# cat /etc/issue

CentOS release 6.3 (Final)

Kernel r on an m

# getconf LONG_BIT

64

二、下载

cd /usr/local/src/

wget

tar xzvf varnish-3.0.1.tar.gz

三、安装

cd varnish-3.0.1

yum install -y automake autoconf libtool ncurses-devel libxslt groff pcre-devel pkgconfig

./configure --prefix=/usr/local/varnish

make

make install

四、校验安装

cd /usr/local/varnish/sbin/

./varnishd -V

五、配置

# cd /usr/local/varnish/etc/varnish/

# cp default.vcl default.vcl.bak

# > default.vcl

# cat default.vcl

# This is a basic VCL configuration file for varnish.  See the vcl(7)

# man page for details on VCL syntax and semantics.

#

# Default backend definition.  Set this to point to your content

# server.

#

 backend default {

    .host = "115.28.225.216";

    .port = "80";

    ###下面三行为新加配

    .connect_timeout = 1s;

    .first_byte_timeout = 5s;

    .between_bytes_timeout = 2s;

 }

#

# Below is a commented-out copy of the default VCL logic.  If you

# redefine any of these subroutines, the built-in logic will be

# appended to your code.

 sub vcl_recv {

    if (req.restarts == 0) {

        if (req.http.x-forwarded-for) {

            set req.http.X-Forwarded-For =

                req.http.X-Forwarded-For + ", " + client.ip;

        } else {

            set req.http.X-Forwarded-For = client.ip;

        }

    }

    if (req.request != "GET" &&

      req.request != "HEAD" &&

      req.request != "PUT" &&

      req.request != "POST" &&

      req.request != "TRACE" &&

      req.request != "OPTIONS" &&

      req.request != "DELETE") {

        /* Non-RFC2616 or CONNECT which is weird. */

        return (pipe);

    }

    if (req.request != "GET" && req.request != "HEAD") {

        /* We only deal with GET and HEAD by default */

        return (pass);

    }

    if (req.http.Authorization || req.http.Cookie) {

        /* Not cacheable by default */

        return (pass);

    }

    return (lookup);

 }

#

 sub vcl_pipe {

#    # Note that only the first request to the backend will have

#    # X-Forwarded-For set.  If you use X-Forwarded-For and want to

#    # have it set for all requests, make sure to have:

#    # set bereq.http.connection = "close";

#    # here.  It is not set by default as it might break some broken web

#    # applications, like IIS with NTLM authentication.

    return (pipe);

 }

#

 sub vcl_pass {

    return (pass);

 }

#

 sub vcl_hash {

    hash_data(req.url);

    if (req.http.host) {

        hash_data(req.http.host);

    } else {

        hash_data(server.ip);

    }

    return (hash);

 }

#

 sub vcl_hit {

    return (deliver);

 }

#

 sub vcl_miss {

    return (fetch);

 }

#

 sub vcl_fetch {

    if (beresp.ttl <= 0s ||

        beresp.http.Set-Cookie ||

        beresp.http.Vary == "*") {

                /*

                * Mark as "Hit-For-Pass" for the next 2 minutes

                */

                set beresp.ttl = 120 s;

                return (hit_for_pass);

    }

    return (deliver);

 }

#

 sub vcl_deliver {

    return (deliver);

 }

#

# sub vcl_error {

#澳门金莎娱乐网站,    set obj.http.Content-Type = "text/html; charset=utf-8";

#    set obj.http.Retry-After = "5";

#    synthetic {"

# <?xml version="1.0" encoding="utf-8"?>

# <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"

#  ";

# <html>

#  <head>

#    <title>"} + obj.status + " " + obj.response + {"</title>

#  </head>

#  <body>

#    <h1>Error "} + obj.status + " " + obj.response + {"</h1>

#    <p>"} + obj.response + {"</p>

#    <h3>Guru Meditation:</h3>

#    <p>XID: "} + req.xid + {"</p>

#    <hr>

#    <p>Varnish cache server</p>

#  </body>

# </html>

# "};

#    return (deliver);

# }

#

 sub vcl_init {

        return (ok);

 }

#

 sub vcl_fini {

        return (ok);

 }

六、启动与关闭varnish

/usr/local/varnish/sbin/varnishd -f /usr/local/varnish/etc/varnish/default.vcl -s malloc,1024m -T 127.0.0.1:200 -a 0.0.0.0:80

启动参数介绍:
-f /usr/local/etc/varnish/default.vcl
这个 –f 选项指定varnishd使用哪个配置文件。
-s malloc,1G
这个 –s 选项用来确定varnish使用的存储类型和存储容量,我使用的是malloc类型(malloc是一个C函数,用于分配内存空间), 1G 定义多少内存被malloced,1G = 1gigabyte。
-T 127.0.0.1:2000
Varnish有一个基于文本的管理接口,启动它的话可以在不停止varnish的情况下来管理varnish。您可以指定管理软件监听哪个接口。当然您不能让全世界的人都能访问您的varnish管理接口,因为他们可以很轻松的通过访问varnish管理接口来获得您的root访问权限。我推荐只让它监听本机端口。如果您的系统里有您不完全信任的用户,您可以通过防火墙规则来限制他访问varnish的管理端口。
-a 0.0.0.0:8080
这一句的意思是制定varnish监听所有IP发给8080端口的http请求,如果在生产环境下,您应该让varnish监听80,这也是默认的。

pkill varnishd    // 关闭Varnish

/usr/local/varnish/bin/varnishncsa -w /var/log/varnish.log &    //启动varnishncsa用来将Varnish访问日志写入日志文件;


Varnish Cache 的架构笔记

CentOS 5.8下Varnish-2.1.5的安装配置

RedHat脚本改用CentOS源更新安装Nginx、PHP 5.3、Varnish

利用Varnish构建Cache服务器笔记

缓存服务Varnish安装配置

Varnish 编译安装所需准备

Linux下Varnish缓存的配置优化

Varnish基础概念详解


Varnish 的详细介绍:请点这里
Varnish 的下载地址:请点这里

本文永久更新链接地址:

Web加速器 Varnish是一款高性能的开源HTTP加速器,它可以来做纯粹的代理服务器,负载均衡,但varnish最主要的功能是缓存...

tar zxvf varnish-3.0.0-beta2.tar.gz
cd varnish-3.0.0-beta2
./configure --prefix=/usr/local/varnish
make && make install

高性能的开源http加速器Varnish介绍

Varnish
一、varnish简介
Varnish是一款高性能的开源HTTP加速器,它比squid还稳定,且效率更高,资源占用更少。相信在反向代理,web加速方面,varnish已经有足够能力代替squid。挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台Squid,性能比以前更好。
 
二、Varnish的结构与特点
Varnish是一个轻量级的Cache和反向代理软件,先进的设计理念和成熟的设计框架是Varnish的主要特点,现在的Varnish总共代码量不大,功能上虽然在不断改进,但是还需要继续丰富和加强。下面总结了Varnish的一些特点:
(1)是基于内存缓存,重启后数据将消失。
(2)利用虚拟内存方式,io性能好。
(3)支持设置0~60秒内的精确缓存时间。
(4)VCL配置管理比较灵活。
(5)32位机器上缓存文件大小为最大2G。
(6)具有强大的管理功能,例如top,stat,admin,list等。
(7)状态机设计巧妙,结构清晰。
(8)利用二叉堆管理缓存文件,达到积极删除目的。

三、varnish的系统架构
varnish主要运行两个进程:Management进程和Child进程(也叫Cache进程)。
 
Management进程主要实现应用新的配置、编译VCL、监控varnish、初始化varnish以及提供一个命令行接口等。Management进程会每隔几秒钟探测一下Child进程以判断其是否正常运行,如果在指定的时长内未得到Child进程的回应,Management将会重启此Child进程。
 
Child进程包含多种类型的线程,常见的如:
cache-main线程:全局只有一个,用于启动cache;
acceptor线程:接收新的连接请求并响应;
worker线程:child进程会为每个会话启动一个worker线程,因此,在高并发的场景中可能会出现数百个worker线程甚至更多;
expiry线程:从缓存中清理过期内容;
backend poll线程:每个后端服务器一个,用于检测后端服务器的健康状况;
epoll/kqueue线程:数量可配置,默认为2,用于管理线程池
 
在配置varnish时,一般只需为关注cache-worker线程,而且也只能配置其线程池的数量,而除此之外的其它均非可配置参数。与此同时,线程池的数量也只能在流量较大的场景下才需要增加,而且经验表明其多于2个对提升性能并无益处。

四、Varnish的安装
由于我使用的系统为RHEL5.8 ,因此在安装varnish之前,需要安装如下软件包:
automake,autoconf,libtool,ncurses-devel,libxslt,groff,pcre-devel,pkgconfig
# yum -y install *.rpm
 
编译安装varnish
# tar xf varnish-2.1.3.tar.gz
# cd varnish-2.1.3
# ./configure --prefix=/usr/loca/varnish  

# make  && make install

为varnish提供配置文件
将varnish的默认配置文件复制成为/etc/sysconfig/varnish
# cp /usr/local/varnish/etc/varnish/default.vcl  /etc/sysconfig/varnish
 
创建Varnish用户和Varnish的工作目录
# useradd –s /sbin/nologin varnish
#mkdir  /web/cache
#chown –R varnish:varnish /web/cache

在varnish 2.0版本中,启动varnish之前首先需要为varnish指定后端服务器地址,因此,我们需要编辑varnish的配置文件,指定后端服务器地址。
# vim  /etc/sysconfig/varnish
添加如下信息即可:
backend default {
    .host = "127.0.0.1";
    .port = "80";
}
 
五、varnish的启动和停止
# /usr/local/varnish/sbin/varnishd -f /etc/sysconfig/varnish -s malloc,200M -T 127.0.0.1:2000 -a 0.0.0.0:8080
-f:指定varnish的配置文件
-s:指定varnish的存储类型和存储容量
-T:指定一个基于本文的管理接口,可用于在不停止varnish的情况下来管理varnish
-a:指定监听的套接字
 
查看varnish是否启动成功
# netstat -tunlp | grep varnish
tcp        0      0 0.0.0.0:8080                0.0.0.0:*                  LISTEN      18684/varnishd     
tcp        0      0 127.0.0.1:2000              0.0.0.0:*                  LISTEN      18683/varnishd     
其中8080为Varnish监听的端口,2000为Varnish基于telnet的管理端口。

停止Varnish,使用如下命令
# killall varnishd
 
六、Varnish的二进制程序文件
在安装Varnish后,会生成许多二进制程序文件,其中常见的命令有:
/usr/local/varnish/sbin/varnishd:这种Varnish的启动命令,最重要
/usr/local/varnish/bin/varnishadm:可用来控制管理Varnish实例的。如删除缓存对象
/usr/local/varnish/bin/varnishlog:显示Varnish的日志信息
/usr/local/varnish/bin/varnishncsa:这个命令也可以显示Varnish的日志信息,只不过这个命令显示的日志信息的格式有点类似于apache的combine格式输出的日志。
/usr/local/varnish/bin/varnishstat:显示Varnish的缓存信息
 
七、varnishd指令
varnishd的启动命令是/usr/local/varnishd/sbin/varnisd命令,这个命令有众多参数,可以使用/usr/local/varnish/sbin/varnishd –h来查看相关参数的详细信息。其中常用的参数有:
-a address:port:指定Varnish监听的套接字
-b address:port:指定后端服务器地址及其监听端口
-d:表示debug调试模式
-f file:指定Varnish的配置文件
-P file:指定Varnish的pid文件
-p param=value:指定服务器参数,用来优化Varnish性能的
-n dir:指定Varnish的工作目录
-s kind[,storageoptions]:指定Varnish后端存储的方式。常用的后端存储方式有:
        -s malloc,-s file,<dir_or_file>,<size>。注意在32位的操作系统下,Varnish最大仅支持2G的容量存储。
-t:指定缺省的ttl值
-T address:port:设定Varnish基于telnet的管理地址及其端口
-V:指定Varnish的版本号
-w int[,int[,int]]:指定Varnish的工作线程数。其配置方式有如下几种:
                  -w <fixed_count>
        -w min,max
        -w min,max,timeout [default: -w2,500,300]

八、Varnish是如何记录数据的?
Varnish一个比较显著的特点就是它如何记录数据的,varnish将所有的数据全部记录到内存当中,当内存全部使用以后,又从头开始记录,覆盖最旧的记录。因此,这样就可以很快的记录数据,而且也不占用磁盘空间。不过,一旦服务器宕机的话,则内存中所有的数据都会被释放。
 
九、varnishlog指令
Varnish提供了众多的工具来查看内存中的数据,在这里我只说varnishlog的应用
在命令行上执行varnishlog命令,显示结果如下:
  17 RxHeader    c Accept-Encoding: gzip, deflate
  17 RxHeader    c Host: 192.168.108.202:8080
  17 RxHeader    c Connection: Keep-Alive
  17 VCL_call    c recv
  17 VCL_return  c lookup
  17 VCL_call    c hash
  17 VCL_return  c hash
其中第一列是任意的数,它用来定义请求,相同的号码代表相同的HTTP传输。
第二列是信息标记,所有的日志都带有一个标记(tag),标记对应相对的操作。Rx表示varnish收到数据,Tx表示varnish发送数据。
第三列代表数据是从哪里传出或者传入的,是从c(client)还是b(backend)。
第四列是被记录的数据。
Varnishlog还有许多子选项:
-b:只显示varnish和backend server之间的日志,当您想要优化命中率的时候可以使用这个参数。
-c:和-b差不多,不过它代表的是varnish和client端的通信。
-i tag:只显示某个tag相关的信息,比如“varnishlog –iSessionOpen”将只显示新会话,注意,这个地方的tag名字是不区分大小写的。
-I:通过正则表达式过滤数据,比如“varnishlog -c -i RxHeader -I Cookie”将显示所有接到来自客户端的包含Cookie单词的头信息。

十、varnishstat指令
varnishstat的二进制程序是/usr/local/varnish/bin/varnishstat。缓存命中率的高低直接说明了varnish的运行状态和效果,较高的缓存命中率说明了varnish运行状态良好,web服务器的性能也会提高很多,反之,过低的缓存命中率说明varnish的配置可能存在问题,那么就需要进行调整,因此,从整体上了解varnish的命中率和缓存状态,对于优化和调整varnish至关重要。
使用/usr/local/varnish/bin/varnishstat命令可以查看Varnish的缓存状态信息。如:
# /usr/local/varnish/bin/varnishstat
Hitrate ratio:        1        1        1
Hitrate avg:    0.5294  0.5294  0.5294
 
          18        0.00        0.01 Client connections accepted
          17        0.00        0.01 Client requests received
          9        0.00        0.00 Cache hits
          8        0.00        0.00 Cache misses
          8        0.00        0.00 Backend conn. success
          8        0.00        0.00 Fetch with Length
          11          .            .  N struct sess_mem
          1          .            .  N struct objectcore
          1          .            .  N struct objecthead
          1          .            .  N struct smf
          1          .            .  N large free smf
          10          .            .  N worker threads
          10        0.00        0.00 N worker threads created
          1          .            .  N backends
          8          .            .  N expired objects
          8          .            .  N LRU moved objects
          10        0.00        0.00 Objects sent with write
          18        0.00        0.01 Total Sessions
          17        0.00        0.01 Total Requests
 
其中比较重要的参数有:
Client connections accepted:表示接受的连接数
Client requests received:表示接受的请求总数,如果使用了长连接,那么该值一般大于Client connections accepted值
Cache hits:表示命中的次数
Cache misses:表示非命中的次数
N struct objectcore:表示被缓存对象的数量
N expired objects:表示过期的缓存对象数量
N LRU moved objects:表示被淘汰的缓存对象数量

缓存服务器Varnish概念篇

缓存服务器Varnish概念篇

Varnish Cache 的架构笔记

CentOS 5.8下Varnish-2.1.5的安装配置

RedHat脚本改用CentOS源更新安装Nginx、PHP 5.3、Varnish

利用Varnish构建Cache服务器笔记

缓存服务Varnish安装配置

Varnish 编译安装所需准备

Linux下Varnish缓存的配置优化

Varnish 的详细介绍:请点这里
Varnish 的下载地址:请点这里

本文永久更新链接地址:

Varnish 一、varnish简介 Varnish是一款高性能的开源HTTP加速器,它比squid还稳定,且效率更高,资源占用更少...

3.server2

搭建后台的httpd服务

vim /var/www/html/index.html

  1. 修改 /usr/local/varnish/etc/varnish/default.vcl

部署varnish

#
 backend default {
     .host = "10.146.87.240"; //缓存没有找到,然后转向的服务器
     .port = "80";
 }

1.server1下载安装 yum install *
varnish-libs-3.0.5-1.el6.x86_64.rpm 
varnish-3.0.5-1.el6.x86_64.rpm

1.  Varnish官网 

常用的命令

varnishadm ban.url .*$         #清除所有
varnishadm ban.url /index.html  #清除 index.html 页面缓存
varnishadm ban.url /admin/$    #清除 admin 目录缓存

会报  No package 'libpcre' found   错误,  执行   yum install pcre-devel  解决。

Linux varnish(一款高性能的开源HTTP加速器),varnish加速器

默认监听的是 80端口

2.server1(部署varnish的主机上)
vim /etc/sysconfig/varnish
/etc/varnish/default.vcl
/etc/init.d/varnish start

Varnish是一款高性能的开源HTTP加速器,挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台squid,性能居然比以前更好。

/usr/local/varnish/sbin/varnishd -f /usr/local/varnish/etc/varnish/default.vcl -s malloc,1G -T 127.0.0.1:2000

2.  获得源码    wget 

澳门金莎娱乐网站 1

Varnish 的作者Poul-Henning Kamp是FreeBSD的内核开发者之一,他认为现在的计算机比起1975年已经复杂许多。在1975年时,储存媒介只有两种:内存与硬盘。但现在计算 机系统的内存除了主存外,还包括了cpu内的L1、L2,甚至有L3快取。硬盘上也有自己的快取装置,因此squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化,但操作系统可以得知这些情况,所以这部份的工作应该交给操作系统处理,这就是 Varnish cache设计架构。

3.

  1. 启动

本文由澳门金莎娱乐网站发布于服务器,转载请注明出处:Linux安装配置Varnish,一款高性能的开源HTTP加速器

关键词:

澳门金莎娱乐网站系统监控工具1,Linux系统负载

学学 linux 系统监控工具1,学学linux 充分利用好 linux系统自带的系统监控工具可以快速便捷地了解系统性能以及其它事...

详细>>

澳门金莎娱乐网站:虚拟桌面如何支持微软Skyp

只需四步轻便化解月月红户机械运输行管理 为客商选取适合的装置可感觉运营在数码宗旨的桌面带来好多益处,但第...

详细>>

让切换目录更方便,Linux下目录栈操作详解

Linux下目录栈操作详解,linux目录详解 Linux切换目录一直都是用cd命令的,但是今天了解到目录栈操作,这个用于多目...

详细>>

目录下检索字符串,linux查找目录下的所有文件中

linux查看目录下全部文件内容中是还是不是富含某些字符串,linux字符串 来源: 寻觅目录下的保有文件中是或不是含...

详细>>