数据库高io问题调查

一、现象：rac集群，有点慢，经检查库运行还正常，但io非常高。iowait达到100%。 二、分析与处理iostat -d -x -k 2 |grep dm-发现+DATADG对应的dm都繁忙，另外一个+ARCHDG对应的dm空闲。 判断确实是数据库请求导致磁盘繁忙。 查锁，没有。查wait session，查awr报告，查到某些疑似wait进程，kill后没有改善。 检查cron里expdp进程，log长时间没有走，导出hang住了。expdp attach 进入任务查看，执行kill_job，经过很长时间才kill成功。但查看io仍然100%。 cd /var/log/sa查看历史io记录tail sar10示例：19:50:01         0.00     17.38     66.10      0.0020:00:01         0.00     17.20     57.43      0.0020:10:01         0.00     27.44    243.20      0.0020:20:01         0.04     18.60     68.21      0.0020:30:01         0.00     17.75     69.12      0.00从前一日的15：32之后出现dm磁盘占用100%。 检查与此时间点比较符合的进程。ps -eo pid,lstart,etime,cmd |grep 'Fri Dec 11' 查到3个pid，是'LOCAL=NO'进程。检查对应的spid、sid、session、sql_text，进行分析。kill后，还是 磁盘占用100%，但过半小时后，io降下来了。