nginx keepalived最佳实践（Nginxkeepalived实现高可用）

逗爷 2023-05-18 13:21:49 81

nginx keepalived最佳实践（Nginxkeepalived实现高可用）a) 例如用户访问www.dbspread.com，想直接跳转到网站下面的某个页面，www.dbspread.com/new.index.html如何来实现呢？我们可以使用Nginx Rewrite 来实现这个需求，具体如下：在server中加入如下语句即可：last和break用来实现URL重写，浏览器地址栏URL地址不变语法：rewrite <regex> <replacement> [flag]关键字 || 正则 || 替代内容 || flag标记Rewrite规则的flag标记主要有以下几种：

作者：小不点啊

来源：www.cnblogs.com/leeSmall/p/9356535.html

一、NGINX Rewrite 规则

1. Nginx rewrite规则

Rewrite规则含义就是某个URL重写成特定的URL（类似于Redirect），从某种意义上说为了美观或者对搜索引擎友好，提高收录量及排名等。

语法：

rewrite <regex> <replacement> [flag]
关键字 || 正则 || 替代内容 || flag标记

Rewrite规则的flag标记主要有以下几种：

last ：相当于Apache里的(L)标记，表示完成rewrite；
break：本条规则匹配完成后，终止匹配，不再匹配后面的规则
redirect：返回302临时重定向，浏览器地址会显示跳转后的URL地址
permanent：返回301永久重定向，浏览器地址栏会显示跳转后的URL地址

last和break用来实现URL重写，浏览器地址栏URL地址不变

2. Nginx rewrite例子

a) 例如用户访问www.dbspread.com，想直接跳转到网站下面的某个页面，www.dbspread.com/new.index.html如何来实现呢？我们可以使用Nginx Rewrite 来实现这个需求，具体如下：在server中加入如下语句即可：

nginx keepalived最佳实践（Nginxkeepalived实现高可用）(1)

效果图如下：

nginx keepalived最佳实践（Nginxkeepalived实现高可用）(2)

rewrite ^/$ http://www.dbspread.com/new.index.html permanent; 对应如下语法： rewrite <regex> <replacement> [flag]; 关键字正则替代内容 flag标记

正则表达式说明：

*代表前面0或更多个字符代表前面1或更多个字符？代表前面0或1个字符 ^代表字符串的开始位置 $代表字符串结束的位置。为通配符，代表任何字符

b)例如多个域名跳转到同一个域名，nginx rewrite规则写法如下：

nginx keepalived最佳实践（Nginxkeepalived实现高可用）(3)

格式：

rewrite <regex> <replacement> [flag];
关键字 || 正则 || 替代内容 || flag标记

说明：

rewrite为固定关键字，表示开始进行rewrite匹配规则、
regex部分是 ^/(.*) ，这是一个正则表达式，匹配完整的域名和后面的路径地址
replacement部分是http://www.dbspread.com/$1，$1是取自regex部分( )里的内容。匹配成功后跳转到的URL。
flag部分 permanent表示永久301重定向标记，即跳转到新的 http://www.dbspread.com/$1 地址上

二、Nginx 防盗链

1. 什么是防盗链

比如http://www.dbspread.com/download/av123.rmvb 这个视频下载地址被其他网站引用，比如在www.test.com的index.html引用download/av123.rmvb就叫盗链，我们要禁止这种引用就叫做防盗链

2. 怎么实现防盗链

在nginx的nginx.conf的server里面配置如下代码

nginx keepalived最佳实践（Nginxkeepalived实现高可用）(4)

三、Nginx 动静分离

1. 动静分离是什么

Nginx动静分离是让动态网站里的动态网页根据一定规则把不变的资源和经常变的资源区分开来，动静资源做好了拆分以后，我们就可以根据静态资源的特点将其做缓存操作，这就是网站静态化处理的核心思路。

2. 动静分离原理图

nginx keepalived最佳实践（Nginxkeepalived实现高可用）(5)

3. Nginx动静分离应该注意的地方

1). WEB项目开发时要注意，将静态资源尽量放在一个static文件夹2). 将static静态资源文件夹放到Nginx可以取到的位置3). 页面要建立全局变量路径，方便修改路径4). 修改nginx.conf的location，匹配静态资源请求

4. Nginx动静分离步骤

4.1 准备一个静态资源button.css

body { margin: 10px 20px; text-align: center; font-family: Arial sans-serif; background-color: red; }

4.2 在/var/local下新建一个static文件夹用来存放静态资源button.css

nginx keepalived最佳实践（Nginxkeepalived实现高可用）(6)

4.3 在tomcat-8080/webapps/ROOT下的index.html里面引入button.css

nginx keepalived最佳实践（Nginxkeepalived实现高可用）(7)

4.4 在nginx的nginx.conf中server节点新增静态资源分离的配置

对于Nginx基础配置，推荐之前的：后端实践：Nginx日志配置（超详细）

nginx keepalived最佳实践（Nginxkeepalived实现高可用）(8)

4.5 访问页面查看效果

nginx keepalived最佳实践（Nginxkeepalived实现高可用）(9)

四、Nginx keepalived 实现高可用

1. keepalived是什么

Keepalived软件起初是专为LVS负载均衡软件设计的，用来管理并监控LVS集群系统中各个服务节点的状态，后来又加入了可以实现高可用的VRRP (Virtual Router Redundancy Protocol 虚拟路由器冗余协议）功能。因此，Keepalived除了能够管理LVS软件外，还可以作为其他服务（例如：Nginx、Haproxy、MySQL等）的高可用解决方案软件

2. keepalived主要功能

管理LVS负载均衡软件实现LVS集群节点的健康检查作为系统网络服务的高可用性（failover）

3. keepalived故障转移

Keepalived高可用服务之间的故障切换转移，是通过 VRRP 来实现的。在 Keepalived服务正常工作时，主 Master节点会不断地向备节点发送（多播的方式）心跳消息，用以告诉备Backup节点自己还活着，当主 Master节点发生故障时，就无法发送心跳消息，备节点也就因此无法继续检测到来自主 Master节点的心跳了，于是调用自身的接管程序，接管主Master节点的 IP资源及服务。而当主 Master节点恢复时，备Backup节点又会释放主节点故障时自身接管的IP资源及服务，恢复到原来的备用角色。

说明：keepalived的主从切换和redis的主从切换是不一样的，keepalived的主节点挂了以后，从节点变为主节点，之前的主节点恢复以后继续做主节点。redis的主节点挂了以后，重新恢复以后变为从节点

4. keepalived高可用架构示意图

nginx keepalived最佳实践（Nginxkeepalived实现高可用）(10)

说明：

虚拟ip(VIP):192.168.152.200，对外提供服务的ip，也可称作浮动ip192.168.152.130：nginx keepalived master 主192.168.152.129：nginx keepalived backup 从192.168.152.129：tomcat-8080192.168.152.129：tomcat-8081

5. keepalived安装

环境准备：

centos6、jdk

虚拟ip(VIP):192.168.152.200，对外提供服务的ip，也可称作浮动ip
192.168.152.130：nginx keepalived master 主
192.168.152.129：nginx keepalived backup 从
192.168.152.129：tomcat-8080
192.168.152.129：tomcat-8081

nginx和tomcat的环境准备请查看我的前一篇关于nginx的文章

5.1 安装keepalived的步骤：

注：192.168.152.129（keepalived从节点）与 192.168.152.130（keepalived主节点）先安装好nginx keepalived

下载压缩包：

wget www.keepalived.org/software/keepalived-1.3.5.tar.gz

解压缩：

tar -zxvf keepalived-1.3.5.tar.gz

进入解压缩以后的文件目录：

cd keepalived-1.3.5

编译安装：./configure --prefix=/usr/local/keepalived系统提示警告 *** WARNING - this build will not support IPVS with IPv6. Please install libnl/libnl-3 dev libraries to support IPv6 with IPVS.yum -y install libnl libnl-devel再次执行./configure --prefix=/usr/local/keepalived系统提示错误 configure: error: libnfnetlink headers missingyum install -y libnfnetlink-devel再次执行./configure --prefix=/usr/local/keepalived

make && make install

到此keepalived安装完成，但是接下来还有最关键的一步，如果这一步没有做后面启动keepalived的时候会报找不到配置文件的错误

Configuration file '/etc/keepalived/keepalived.conf' is not a regular non-executable file

nginx keepalived最佳实践（Nginxkeepalived实现高可用）(11)

安装完成后，进入安装目录的etc目录下，将keepalived相应的配置文件拷贝到系统相应的目录当中。keepalived启动时会从/etc/keepalived目录下查找keepalived.conf配置文件

mkdir /etc/keepalived

cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived

5.2 修改keepalived主节点192.168.152.130的/etc/keepalived/keepalived.conf配置文件

nginx keepalived最佳实践（Nginxkeepalived实现高可用）(12)

5.3 修改keepalived从节点192.168.152.129的/etc/keepalived/keepalived.conf配置文件

nginx keepalived最佳实践（Nginxkeepalived实现高可用）(13)

5.4 检查nginx是否启动的shell脚本

/usr/local/src/check_nginx_pid.sh

#!/bin/bash #检测nginx是否启动了 A=`ps-Cnginx--no-header|wc-l` if[$A-eq0];then#如果nginx没有启动就启动nginx /usr/local/nginx/sbin/nginx#重启nginx if[`ps-Cnginx--no-header|wc-l`-eq0];then#nginx重启失败，则停掉keepalived服务，进行VIP转移 killallkeepalived fi fi

5.5 192.168.152.130（keepalived主节点）和 192.168.152.129（keepalived从节点）的nginx的配置文件nginx.conf

userrootroot;#使用什么用户启动NGINX在运行时使用哪个用户哪个组 worker_processes4;#启动进程数，一般是1或8个，根据你的电脑CPU数，一般8个 worker_cpu_affinity00000001000000100000010000001000;#CPU逻辑数——把每个进程分别绑在CPU上面，为每个进程分配一个CPU #pid/usr/local/nginx/logs/nginx.pid worker_rlimit_nofile102400;#一个进程打开的最大文件数目，与NGINX并发连接有关系 #工作模式及连接数上限 events { useepoll;#多路复用IO基于LINUX2.6以上内核，可以大大提高NGINX的性能uname-a查看内核版本号 worker_connections102400;#单个workerprocess最大连接数其中NGINX最大连接数＝连接数*进程数一般1GB内存的机器上可以打开的最大数大约是10万左右 multi_accepton;#尽可能多的接受请求，默认是关闭状态 } #处理http请求的一个应用配置段 http { #引用mime.types 这个类型定义了很多，当web服务器收到静态的资源文件请求时，依据请求文件的后缀名在服务器的MIME配置文件中找到对应的MIME#Type，根据MIMETYPE设置并response响应类型（Content-type） includemime.types; default_typeapplication/octet-stream;#定义的数据流，有的时候默认类型可以指定为text 这跟我们的网页发布还是资源下载是有关系的 fastcgi_intercept_errorson;#表示接收fastcgi输出的http1.0responsecode charsetutf-8; server_names_hash_bucket_size128;#保存服务器名字的hash表 #用来缓存请求头信息的，容量4K，如果header头信息请求超过了，nginx会直接返回400错误，先根据client_header_buffer_size配置的值分配一个buffer，如果##分配的buffer无法容纳request_line/request_header，那么就会##再次根据large_client_header_buffers配置的参数分配large_buffer，如果large_buffer还是无#法容纳，那么就会返回414（处理request_line）/400（处理request_header）错误。 client_header_buffer_size4k; large_client_header_buffers432k; client_max_body_size300m;#允许客户端请求的最大单文件字节数上传文件时根据需求设置这个参数 #指定NGINX是否调用这个函数来输出文件，对于普通的文件我们必须设置为ON，如果NGINX专门做为一个下载端的话可以关掉，好处是降低磁盘与网络的IO处理数及#系统的UPTIME sendfileon; #autoindexon;开启目录列表访问，适合下载服务器 tcp_nopushon;#防止网络阻塞 #非常重要，根据实际情况设置值，超时时间，客户端到服务端的连接持续有效时间，60秒内可避免重新建立连接，时间也不能设太长，太长的话，若请求数10000##，都占用连接会把服务托死 keepalive_timeout60; tcp_nodelayon;#提高数据的实时响应性 client_body_buffer_size512k;#缓冲区代理缓冲用户端请求的最大字节数（请求多） proxy_connect_timeout5;#nginx跟后端服务器连接超时时间（代理连接超时） proxy_read_timeout60;#连接成功后，后端服务器响应时间(代理接收超时) proxy_send_timeout5;#后端服务器数据回传时间(代理发送超时) proxy_buffer_size16k;#设置代理服务器（nginx）保存用户头信息的缓冲区大小 proxy_buffers464k;#proxy_buffers缓冲区，网页平均在32k以下的话，这样设置 proxy_busy_buffers_size128k;#高负荷下缓冲大小 proxy_temp_file_write_size128k;#设定缓存文件夹大小，大于这个值，将从upstream服务器传 gzipon;#NGINX可以压缩静态资源，比如我的静态资源有10M，压缩后只有2M，那么浏览器下载的就少了 gzip_min_length1k; gzip_buffers416k; gzip_http_version1.1; gzip_comp_level2;#压缩级别大小最小1 最大9.值越小压缩后比例越小 CPU处理更快为1时原10M压缩完后8M 但设为9时压缩完可能只有2M了。一般设置为2 gzip_typestext/plainapplication/x-javascripttext/cssapplication/xml;#压缩类型:text jscssxml都会被压缩 gzip_varyon;#作用是在http响应中增加一行目的是改变反向代理服务器的缓存策略 #日志格式 log_formatmain'$remote_addr-$remote_user[$time_local]"$request"'#ip远程用户当地时间请求URL '$status$body_bytes_sent"$http_referer"'#状态发送的大小响应的头 '"$http_user_agent"$request_time';#客户端使用的浏览器页面响应的时间 #动态转发 upstreamweb1{ #每个请求按访问ip的hash结果分配这样每个访客固定访问一个后端服务器可以解决session的问题。配置了ip_hash就没有负载均衡的效果了，每次访问的都是同一个tomcat #ip_hash; #转发的后端的tomcat服务器 weight表示转发的权重越大转发的次数越多机器性能不一样配置的weight值不一样 server192.168.152.129:8080weight=1max_fails=2fail_timeout=30s; server192.168.152.129:8081weight=1max_fails=2fail_timeout=30s; } upstreamweb2{ server192.168.152.129:8090weight=1max_fails=2fail_timeout=30s; server192.168.152.129:8091weight=1max_fails=2fail_timeout=30s; } server{ listen80;#监听80端口 server_namewww.dbspread.com;#域名 #rewrite规则 indexindex.jspindex.htmlindex.htm; root/usr/local/nginx/html;#定义服务器的默认网站根目录位置 #重定向 if($host!='www.dbspread.com'){ rewrite^/(.*)$http://www.dbspread.com/$1permanent; } #防盗链 location~*\.(rmvb|jpg|png|swf|flv)${#rmvb|jpg|png|swf|flv表示对rmvb|jpg|png|swf|flv后缀的文件实行防盗链 valid_referersnoneblockedwww.dbspread.com;#表示对www.dbspread.com此域名开通白名单，比如在www.test.com的index.html引用download/av123.rmvb 无效 roothtml/b; if($invalid_referer){#如果请求不是从www.dbspread.com白名单发出来的请求，直接重定向到403.html这个页面或者返回403 #rewrite^/http://www.dbspread.com/403.html; return403; } } #监听完成以后通过斜杆(/)拦截请求转发到后端的tomcat服务器 location/ { #如果后端的服务器返回502、504、执行超时等错误，自动将请求转发到upstream负载均衡池中的另一台服务器，实现故障转移。 proxy_next_upstreamhttp_502http_504errortimeoutinvalid_header; proxy_set_headerHost$host;#获取客户端的主机名存到变量Host里面从而让tomcat取到客户端机器的信息 proxy_set_headerX-Real-IP$remote_addr;#获取客户端的主机名存到变量X-Real-IP里面从而让tomcat取到客户端机器的信息 proxy_set_headerX-Forwarded-For$proxy_add_x_forwarded_for; #rewrite^/$http://www.dbspread.com/new.index.htmlpermanent;#用户访问www.dbspread.com，想直接跳转到网站下面的某个页面:www.dbspread.com/new.index.html proxy_passhttp://web1;#跳转到对应的应用web1 } #location~.*\.(php|jsp|cgi|shtml)?$#动态分离~匹配以.*结尾（以PHPJSP结尾走这段） #{ #proxy_set_headerHost$host; #proxy_set_headerX-Real-IP$remote_addr; #proxy_set_headerX-Forwarded-For$proxy_add_x_forwarded_for; #proxy_passhttp://jvm_web2; #} #静态分离~匹配以.*结尾（以html|htm|gif|jpg|jpeg|bmp|png|ico|txt|js|css结尾走这段），当然不是越久越好，如果有10000个用户在线，都保存几个月，系统托跨 location~.*\.(html|htm|gif|jpg|jpeg|bmp|png|ico|txt|js|css)$ { root/var/local/static;#静态资源存放在nginx的安装机器上 #proxy_passhttp://www.static.com;#静态资源也可存放在远程服务器上 expires30d; } #日志级别有[debug|info|notice|warn|error|crit]error_log级别分为debug info notice warn error crit默认为crit 生产环境用error #crit记录的日志最少而debug记录的日志最多 access_log/usr/local/logs/web2/access.logmain; error_log/usr/local/logs/web2/error.logcrit; } }

到这一步环境准备已完成，相关的配置也修改完成，下面我们来查看效果

5.6 配置hosts域名映射

192.168.152.200www.dbspread.com

注意：这里192.168.152.200 是keepalived里面virtual_ipaddress配置的虚拟ip

virtual_ipaddress{ 192.168.152.200#定义虚拟ip(VIP)，可多设，每行一个 }

到这一步环境准备已完成，相关的配置也修改完成，下面我们来查看效果

5.7 分别启动192.168.152.129的两个tomcat

5.8 分别启动192.168.152.130（keepalived主节点）和

192.168.152.129（keepalived从节点）的keepalived的

启动命令：

/usr/local/keepalived/sbin/keepalived

nginx keepalived最佳实践（Nginxkeepalived实现高可用）(14)