无论哪一点都让刘皓十分的欣赏和佩服当然还有喜欢了,也正是因为如此,刘皓越是想得到夏日星,因此才帮夏日星完成那么多事情。

“这才是最可怕的,看着越简单,往往越复杂,鹰组会盯着这个人,好在是个贪财的人容易对付。”东镇抚发出一声冷笑,只要抓住对方破绽,自己就有办法对付,这种方式从来没有例外。

酷网网赚论坛主播

长谷川一接到松岛发来的电报,便立马批准了他的请求,命令停泊在长江口外海的航空母舰“赤城”号做好准备,天亮后立即起飞轰炸机飞赴江阴炮台,配合松岛向炮台发起围攻。
但见泥犁菩萨如厉鬼一般气势汹汹站在阵前,身旁是宝相庄严的药师八佛,如来亦赫然在列,悟空见如来修为只是略增,并未有翻天覆地的变化,稍微放下心来。而再往后看,至少也有百余佛祖跟随,这些人中,成圣的不下三四十人,其余皆是混元金仙中的佼佼者。

李庆安瞥了一眼阿布思,缓缓道:“阿布思将军,我可以口头答应你的要求,不过有句丑话我要说在前面,任何事情都不会十全十美,在将来的某个时候,你或许会付出代价,甚至是你生命的代价,你可愿意?”

记录一则ASM实例阻塞,rbal进程异常的案例


  • 1.故障现象描述
  • 2.确认故障现象
  • 3.排查ASM层面
  • 4.解决问题

1.故障现象描述

环境:AIX 7.1 + Standalone Oracle 11.2.0.4
现象:客户反映某11g版本的ADG备库无法正常进行任何查询,数据库alert发现ORA-00494:enqueue [CF] held for too long (more than 900 seconds) by "inst 1, osid 18875390".

2.确认故障现象

登录到db实例,尝试查询select open_mode from v$database都会hang住。使用10046 event跟踪,发现最后的等待事件也是卡在"Disk file operations I/O"不再刷新。
该环境是standalone的单实例ASM环境,既然卡在I/O,自然就要去判断ASM是否正常。

3.排查ASM层面

发现ASM实例确实存在阻塞:

--cascade blocking
select *
  from (select a.sid,
               a.sql_id,
               a.event,
               a.status,
               connect_by_isleaf as isleaf,
               sys_connect_by_path(SID, "<-") tree,
               level as tree_level
          from v$session a
         start with a.blocking_session is not null
        connect by nocycle a.sid = prior a.blocking_session)
 where isleaf = 1
 order by tree_level asc;

其中417是rbal进程,等待事件是CSS operation:action。

4.解决问题

首先查找MOS时匹配到下面的文档:
ASM Instance Hangs During The Diskgroup Mount Stage After AIX OS Patch Install (文档 ID 1633273.1)

根据该文档中的描述收集hanganalyze/systemstate dumps:

Collected hanganalyze/systemstate dumps:

For Standalone:
$> sqlplus /nolog 
SQL> connect / as sysasm
SQL> oradebug setmypid 
SQL> oradebug unlimit 
REM : The next line should give something like Hang Analysis in $ORACLE_BASE/diag/.../trace/$ORACLE_SID_diag_<pid>.trc. Upload this
REM : Run the following two lines on one instance 2-3 times - 1 minute apart:
SQL> oradebug hanganalyze 3 
SQL> oradebug dump systemstate 258
REM : The following line will print the location for the systemstate trace. Upload this
SQL> oradebug tracefile_name
REM : Also upload the instance alert log.

根据收集到的trc文件和MOS描述的故障现象进行匹配,无论是ssd的等待事件历史,还是hanganalyze中显示的函数调用名称和顺序,结果都与MOS的描述一致。但是MOS描述的现象还明确提出是在安装了一个OS的patch后才出现的故障:

SYMPTOMS
non-clustered -- 11203 -- AIX 7.1

ASM instance hangs and will not mount diskgroups, after AIX OS patch was installed (AIX 7.1TL03-01-1341).
This is a platform specifc issue.

那么就需要与客户沟通确认OS是否安装了这个AIX 7.1TL03-01-1341 patch,最终结果意料之中,客户确认了OS的确安装过该补丁。

那么MOS其实没有workaround,只给出最终的解决方案:

SOLUTION

Deinstall the OS patch and report the issue to the OS vendor.
Oracle does not certify OS patches against its software.

意思很明显,就是需要卸载该OS补丁并把该问题提交给OS vendor,Oracle不能保证OS的补丁不与自己软件冲突。到了这里,就可以告知客户将该问题push给OS vendor了。

可是目前还是要先暂时解决当前的问题,现在既然确认是ASM实例阻塞,自然就想到只需要将阻塞进程杀死或者干脆重启ASM实例甚至has集群即可暂时解决。
但实际上事违人愿,我在尝试杀死这个rbal进程时,发现即使使用kill -9也无济于事。并且即使将ASM实例成功abort后,这个rbal进程依然在,进一步尝试直接强制关闭crsctl stop has -f集群也无法成功。看来目前的环境已经完全表现异常,最终还是重启了主机才恢复正常。

当前文章:http://hnhdqp.com/array/rnu0dfou17.html

发布时间:2018-12-15 01:44:18

网赚客广告任务网 在家加工手工活 一淘薅羊毛 武汉阳逻京东兼职 微信打码兼职公众号 白领周末兼职做什么好 什么手机兼职比较靠谱 正规电脑兼职

编辑:伯邓

相关新闻

iOS7 beta版惊现漏洞 绕开锁屏密码进入iPhone

2018-12-15 06:29:29

云浮仆残科技有限公司

限制民事行为能力人年龄下限拟改为八岁

2018-12-15 03:43:09

江苏呀郊机械设备有限公司

国网榆林公司“加减乘除”学安规

2018-12-15 05:41:49

宿州饶醋市场营销有限公司

热门推荐

  • 美国肯塔基州高中发生枪击案致2死19伤 嫌犯为15岁男学生
  • 玩家自制《黑暗之魂3:茶杯头》 :横版射击打古达
  • 三分长相七分打扮《御天记》各职业时尚登场
  • 墨西哥一货车冲向路边导致事故 至少18人死亡
  • 苹果黑五全球促销活动正式启动:买货送礼品卡
  • “教育+旅游”带来桐城旅游发展新契机
  • 都是新科技 本田Sports EV纯电动概念车
  • 流量1元1GB,运营商依然会赚钱吗?
  • 中国留学生帮熟人转个账竟面临牢狱之灾?有偿带物被判死刑?
  • 江西修水周全进入防汛应急状态 已紧迫转移8万余人
  • 河北新闻网版权所有 本站点信息未经允许不得复制或镜像 法律顾问:可以网上赚钱的网站 如何利用手机网络赚钱
  • 现在挣钱好项目 copyright ? 2000 - 2016
  • 新闻热线:0311-67563366 广告热线:0311-67562966 新闻投诉:0311-67562994
  • 冀ICP备 09047539号-1 | 互联网新闻信息服务许可证编号:1312006002
  • 广播电视节目制作经营许可证(冀)字第101号|信息网络传播视听节目许可证0311618号
  • 一月三千如何攒钱 打游戏赚钱的平台 晚上8点到12点兼职工作 兼职网赚日结工资