weblogic中间件通用应急预案

weblogic中间件通用应急预案

Weblogic中间件（含业务应用）通用应急预案

一、应急处置原则与工作流程

国网信息系统中间件主要采用weblogic集群方式部署，通过中间件控制台对各应用节点进行统一管理和监控，本次中

间件应急预案以“先抢通、后抢修”为处理原则，首先恢复业

务应用，保存相关日志，后期再根据日志进行详细分析和故障

定位。

weblogic中间件是应用程序的发布平台，相对比较稳定。

业务应用均通过weblogic中间件进行发布，通过weblogic中

间件的JDBC等配置，实现前端应用和后台数据库之间的交互。

因此不管是程序代码问题、硬件问题、数据库问题均有可能体

现在weblogic中间件节点异常；并且由于程序代码效率低下、参数配置不当，也会导致weblogic中间件节点异常。这种情

况下，重启异常weblogic节点，释放资源，是最快的恢复业

务的应急手段。具体原因可以通过备份日志，事后进行分析排

查。

本应急预案中涉及到的程序包路径，均是根据信通公司weblogic中间件安装规范中指定的路径。如果未按照规范安装

的中间件，请电话咨询对应系统专责协助处理。

二、weblogic中间件故障应急场景

故障应急处理步骤6步：

1、使用IE浏览器访问节点应用确认节点可用性。

2、登陆weblogic控制台确认节点状态。

3、收集故障点日志，备份节点日志。

4、查看节点日志，根据报错信息确定故障原因。

5、根据故障原因，执行应急操作。

6、组织人员进行具体原因分析并整改。

三、故障场景

Weblogic中间件日志文件中常见错误如下：

序号错误信息原因出现时机执行步骤1 ng.OutOfMemoryError 内存溢出节点运行过程中1,2,3,4,5

ng.OutOfMemoryError 内存溢出节点启动过程中9,12

2 more than the configured time

(StuckThreadMaxTime) of "600"

seconds

线程阻塞节点运行过程中1,2,3,4,5

3 error

occured:weblogic.jdbc.extensions.P

oolLimitSQLException:

mon.resourcepool.Res

ourceLimitException: No resources

currently available in pool

dgNonPool to allocate to

applications, please increase the

size of the pool and retry.. JDBC连接

池满

节点启动过程中6,12

4 BEA-000627 Reachedmaximum

capacity of pool “JDB-HQGL”make

0 new resource instances

resources for pool "JDBC Data

Source-0", out of which "0" are

available and "1" are unavailable. JDBC连接

池满

节点运行过程中1,2,3,4,5,6

5 Too many open files 打开文件超

过系统限制

节点运行过程中1,2,3,4,5,7,11,12

6

failed. Reason:

weblogic.security.SecurityInitializat

ionException: Authentication for

user weblogic denied weblogic密

码错误

节点启动过程中8,12

weblogic.security.SecurityInitializat ionException: Authentication for user weblogic denied

7 /home/weblogic/Oracle/Middlewar

e/user_projects/domains/test_do

main/bin/startWebLogic.sh: line 18

0: 64034 Killed ${JAVA_H

OME}/bin/java ${JAVA_VM} ${ME

M_ARGS} =${SE

RVER_NAME} -Djava.security.polic

y=${WL_HOME}/server/lib/weblo

gic.policy ${JAVA_OPTIONS} ${PR

OXY_SETTINGS} ${SERVER_CLASS

} 人为停止节

点

节点运行过程中1,2,3,4,12

8 <

Error>

0000>

ion Log: /home/weblogic/Oracle/M

iddleware/user_projects/domains/

test_domain/servers/server1/data

/ldap/ldapfiles/EmbeddedLDAP.tra

n (Permission denied)>

权限问题节点启动过程中10,11,12

9 <

Error>

est "SELECT 1 FROM DUAL" set up f

or pool "JDBC Data Source-0" failed

with exception: "java.sql.SQLRecov

erableException: No more data to r

ead from socket".>

<

Warning>

connection for pool "JDBC Data So

urce-0": IO Error: The Network Ada

pter could not establish the connect

ion.> 数据库单节

点异常，RAC

无法全部正

常对外提供

服务

节点运行过程中13,11,12

10 The JRE was not found in directory

/usr/java/k1.6.0_38. (JAVA_HOME

)

Please edit your environment and s

et the JAVA_HOME

variable to point to the root directo

ry of your Java installation. Java环境变

量配置不正

确

节点启动过程中14,12

11