前言：生产上有4台应用主机对外提供服务，架构为两台lvs+keepalived以主备方式提供一个虚ip和负载均衡，后面以双活方式接入两台nginx，4台应用接在nginx后面：
web服务器其中两台为suse11sp4两台为sp2，部署的应用相同，sp2两台偶尔会出现服务卡死现象，经代码排查、weblogic升级、系统资源使用分析等都没解决问题，现决定对操作升级。
生产变更步骤：
1.确认系统版本
#version
#issue
#uname -a
#suse-release
2.搜集主机系统信息
df -h
more /etc/hosts
more /etc/group
ifconfig -a
cd /
ls -l
id callcent
ps -ef|grep java
ps -ef|grep java|wc -l
su - callcent
more .bash_profile
cd /var/spool/cron/tabs
more monitor
more root
more callcent主要有文件系统、用户、组、网络、应用用户、应用进程、环境变量、定时任务等常规检查项。
3.登陆console控制台
http://172.xx.x.xx:8001/console
截图
该步骤是确认哪些进程处于RUNNING哪些属于SHUTDOWN
4.登陆nginx服务器
172.xx.x.58/59
备份nginx.conf
cd /usr/local/webserver/nginx/conf
cp nginx.conf nginx.conf.bak若升级失败，可在nginx服务器上摘掉该应用主机，恢复正常后再加入upstream配置
5.操作系统升级
6.拉起应用
cd /callcent/Oracle/Middleware/user_projects/domains/callcent_domain
拉起Admin、csr、sso、rs、wo、manager服务
7.nginx注释非升级主机
只保留升级主机对外服务，目的是检查升级后应用状态，通知客服坐席测试，工单测试。
8.恢复nginx配置
测试通过后恢复nginx配置，继续以负载均衡方式对外提供服务。
9.拉起nmon
10.清除报错日志
检查是否有告警日志产生，如有则清除以免触发告警事件。
系统升级步骤：
以下操作都在虚拟机上完成：
1.确认版本
2.升级步骤
生产环境按F12进入光驱启动（IBM X3650 M4）
选择update
3.验证版本
至此完成系统升级。
升级遇到的坑：
升级完一段时间后应用报错，定位原因为服务器系统时间问题，也就是说ntp时钟同步失败。
sp2的时钟同步脚本：
suse11sp2:~ #/usr/sbin/sntp -P no -r ntpserver升级到sp4后如果运行该定时任务会报错：
suse11sp4:~ # /usr/sbin/sntp -P no -r ntpserver
/usr/sbin/sntp: illegal option -- P
sntp - standard Simple Network Time Protocol client program - Ver. 4.2.8p2
Usage: sntp [ -<flag> [<val>] | --<name>[{=| }<val>] ]... \[ hostname-or-IP ...]
Try 'sntp --help' for more information.- 问题解决办法：
改由ntpdate方式同步
suse11sp4:~ # /usr/sbin/ntpdate ntpserver
