Проблема подвисания vSphere Hypervisor (ESXi 5.5).
В деле виртуализации я полный ноль и прошу помощи сообщества, так как даже не знаю с какой стороны подступиться к решению своей проблемы.
В конце апреля у нас появился новый сервер, на него был установлен гипервизор ESXi 5.5, со старого сервера в виртуальную среду была перенесена ОС Windows 2003 Standart. Больше двух недель все это дело работало без каких либо проблем. Потом стали проявляться совершенно странные проблемы. Гостевая ОС перестала отвечать (пинговаться), попытка подключиться к консоли из VMware vSphere Client не дала результата (экран удаленной машинки не появляется). При этом из VMware vSphere Client не возможно управлять гипервизором, все тормозит, перезагрузить или выключить гостевую ОС или сам гипервизор невозможно по причине того что гипервизор не реагирует на команды.
Подключение напрямую к серверу с EXSi 5.5.0, 1623387 тоже не сильно помогает ситуации, так как при команде перезагрузки или попытке посмотреть логи гипервизор не отвечает. Помогает только жесткая перезагрузка сервера. После этого все работает хорошо, в журнале событий гостевой ОС и самого гипервизора никаких подозрительных сообщений нет.
Сначала подумалось, что это разовая проблема, но частота появления этой ошибки стала увеличиваться. Сначала такая проблема возникла через 2 недели, потом через 1 неделю, потом примерно раз в 3 дня, теперь уже примерно через день проявляется.
Убедительная просьба подсказать в какую сторону смотреть для решения данной проблемы, на что обращать внимание?
Материнская плата Supermicro X9SRi-F
RAID контроллер Adaptec ASR-6405
При первоначальной установке гипервизор не видел контроллер и соответсвенно разделы были не доступны. Драйвера с сайта Adaptec добавил в образ с помощью ESXi-Customizer v2.7.2и в последствии на это же хранилище установил гипервизор.
В логах проскакивают следующие подозрительные (на мой взгляд) строчки:
2014-05-31T07:27:40.001Z cpu0:34390)World: 14296: VC opID hostd-d3a5 maps to vmkernel opID b18387f
2014-05-31T07:28:00.003Z cpu2:35195)World: 14296: VC opID 24237E93-00001720 maps to vmkernel opID 8f46b9b
2014-05-31T07:28:20.002Z cpu1:34029)World: 14296: VC opID 24237E93-00001724 maps to vmkernel opID 186888ea
2014-05-31T07:28:40.004Z cpu7:34029)World: 14296: VC opID 24237E93-00001726 maps to vmkernel opID adc67bf5
2014-05-31T07:29:00.004Z cpu8:34021)World: 14296: VC opID 24237E93-00001728 maps to vmkernel opID c0f171ec
2014-05-31T07:29:09.296Z cpu1:35195)World: 14296: VC opID 24237E93-0000172B maps to vmkernel opID eb2aedb
2014-05-31T07:29:20.004Z cpu8:34021)World: 14296: VC opID 24237E93-0000172B maps to vmkernel opID eb2aedb
2014-05-31T07:29:40.002Z cpu1:35195)World: 14296: VC opID 24237E93-0000172E maps to vmkernel opID 2d3ae60b
2014-05-31T07:30:00.003Z cpu3:34029)World: 14296: VC opID 24237E93-00001731 maps to vmkernel opID d18568cf
2014-05-31T07:30:20.004Z cpu1:34390)World: 14296: VC opID 24237E93-00001733 maps to vmkernel opID f6c0714d
2014-05-31T07:30:40.002Z cpu3:34029)World: 14296: VC opID 24237E93-00001735 maps to vmkernel opID 4e16a118
2014-05-31T07:31:00.005Z cpu11:34029)World: 14296: VC opID 24237E93-00001738 maps to vmkernel opID a9887d20
2014-05-31T07:31:04.045Z cpu5:32798)NMP: nmp_ThrottleLogForDevice:2321: Cmd 0x1a (0x412e847f25c0, 0) to dev "mpx.vmhba0:C0:T0:L0" on path "vmhba0:C0:T0:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0. Act:NONE
2014-05-31T07:31:04.045Z cpu5:32798)ScsiDeviceIO: 2337: Cmd(0x412e847f25c0) 0x1a, CmdSN 0x128d from world 0 to dev "mpx.vmhba0:C0:T0:L0" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0.2014-05-31T07:31:09.299Z cpu5:34021)World: 14296: VC opID 24237E93-0000173A maps to vmkernel opID 50a7d250
2014-05-31T07:31:11.294Z cpu11:34029)World: 14296: VC opID hostd-130f maps to vmkernel opID b144b116
2014-05-31T07:31:20.002Z cpu8:35165)World: 14296: VC opID 24237E93-0000173A maps to vmkernel opID 50a7d250
2014-05-31T07:31:40.003Z cpu11:34030)World: 14296: VC opID 24237E93-0000173C maps to vmkernel opID 96c2471c
2014-05-31T07:31:47.652Z cpu3:34029)World: 14296: VC opID 24237E93-0000173D maps to vmkernel opID 4c2b413e
2014-05-31T07:32:07.599Z cpu4:34324)WARNING: ScsiDeviceIO: 7005: IEC page to device "mpx.vmhba1:C0:T2:L0" has bad pagecode: 0x0
2014-05-31T07:32:07.602Z cpu10:32803)NMP: nmp_ThrottleLogForDevice:2321: Cmd 0x85 (0x412e84926b00, 34324) to dev "mpx.vmhba1:C0:T2:L0" on path "vmhba1:C0:T2:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0. Act:NONE
2014-05-31T07:32:07.602Z cpu10:32803)ScsiDeviceIO: 2337: Cmd(0x412e84926b00) 0x85, CmdSN 0x2d from world 34324 to dev "mpx.vmhba1:C0:T2:L0" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0.
2014-05-31T07:32:07.605Z cpu10:32803)ScsiDeviceIO: 2337: Cmd(0x412e84926b00) 0x4d, CmdSN 0x2e from world 34324 to dev "mpx.vmhba1:C0:T2:L0" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0.
2014-05-31T07:32:07.607Z cpu4:34324)WARNING: ScsiDeviceIO: 7005: IEC page to device "mpx.vmhba1:C0:T1:L0" has bad pagecode: 0x0
2014-05-31T07:32:07.618Z cpu7:32800)NMP: nmp_ThrottleLogForDevice:2321: Cmd 0x85 (0x412e84926b00, 34324) to dev "mpx.vmhba1:C0:T1:L0" on path "vmhba1:C0:T1:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0. Act:NONE
2014-05-31T07:32:07.618Z cpu7:32800)ScsiDeviceIO: 2337: Cmd(0x412e84926b00) 0x85, CmdSN 0x30 from world 34324 to dev "mpx.vmhba1:C0:T1:L0" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0.
2014-05-31T07:32:07.621Z cpu7:32800)ScsiDeviceIO: 2337: Cmd(0x412e84926b00) 0x4d, CmdSN 0x31 from world 34324 to dev "mpx.vmhba1:C0:T1:L0" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0.
2014-05-31T07:32:07.623Z cpu4:34324)WARNING: ScsiDeviceIO: 7005: IEC page to device "mpx.vmhba1:C0:T0:L0" has bad pagecode: 0x0
2014-05-31T07:32:07.636Z cpu7:32800)NMP: nmp_ThrottleLogForDevice:2321: Cmd 0x85 (0x412e84926b00, 34324) to dev "mpx.vmhba1:C0:T0:L0" on path "vmhba1:C0:T0:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0. Act:NONE
2014-05-31T07:32:07.636Z cpu7:32800)ScsiDeviceIO: 2337: Cmd(0x412e84926b00) 0x85, CmdSN 0x33 from world 34324 to dev "mpx.vmhba1:C0:T0:L0" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0.
2014-05-31T07:32:07.638Z cpu7:32800)ScsiDeviceIO: 2337: Cmd(0x412e84926b00) 0x4d, CmdSN 0x34 from world 34324 to dev "mpx.vmhba1:C0:T0:L0" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0.2014-05-31T07:32:10.980Z cpu9:34390)World: 14296: VC opID hostd-efeb maps to vmkernel opID d2f4fbe9
2014-05-31T07:32:10.985Z cpu11:35165)World: 14296: VC opID hostd-0a57 maps to vmkernel opID a746fb04
2014-05-31T07:32:20.004Z cpu11:34030)World: 14296: VC opID hostd-15a2 maps to vmkernel opID 3dde2e12
2014-05-31T07:32:22.451Z cpu2:34029)World: 14296: VC opID 24237E93-00001744 maps to vmkernel opID 3b1c6c24
2014-05-31T07:32:40.001Z cpu6:35165)World: 14296: VC opID 24237E93-00001744 maps to vmkernel opID 3b1c6c24
2014-05-31T07:33:00.003Z cpu6:34030)World: 14296: VC opID 24237E93-00001746 maps to vmkernel opID 7f642bb6
2014-05-31T07:33:20.002Z cpu8:34030)World: 14296: VC opID 24237E93-00001749 maps to vmkernel opID 9a43a8ee
2014-05-31T07:33:40.001Z cpu10:34390)World: 14296: VC opID 24237E93-0000174B maps to vmkernel opID d5dac0ec
2014-05-31T07:34:00.002Z cpu2:34030)World: 14296: VC opID 24237E93-0000174F maps to vmkernel opID e6dac321
2014-05-31T07:34:09.305Z cpu0:35165)World: 14296: VC opID 24237E93-00001751 maps to vmkernel opID a7c5fae1
2014-05-31T07:34:20.003Z cpu3:34030)World: 14296: VC opID hostd-2e83 maps to vmkernel opID a1270503
2014-05-31T07:34:40.005Z cpu7:35165)World: 14296: VC opID 24237E93-00001753 maps to vmkernel opID f5eab152
2014-05-31T07:35:00.003Z cpu0:34030)World: 14296: VC opID 24237E93-00001755 maps to vmkernel opID e2ae6409
2014-05-31T07:35:01.640Z cpu11:35195)World: 14296: VC opID hostd-3b18 maps to vmkernel opID fa3d7371
vmhba1:C0:T0:L0 - это мой дисковый массив на котором хранятся образы ОС.
За ранее большое спасибо за ответы и буду рад абсолютно любой информации по моему вопросу.