Console cable only attached to the node may cause health alerts, prevent SP access and prevent failover
Applies to
- AFF Models
- ASA Models
- FAS Models
- ONTAP 9
- Console connection
Issue
The following symptoms can be observed:
- Not able to SSH into the SP or BMC using any account (no response)
- Various false health alerts may be reported which could lead to HW failure assumptions:
- fan failures
- high/low temperature warnings
- various "sensor unreadable" messages
- battery failure, etc.
Record 2508: Mon Apr 24 11:01:20 2023 [SP.notice]: SP load is high: 5.22 4.10 2.12 Record 2513: Mon Apr 24 11:03:16 2023 [IPMI.emergency]: triggered OS halt: Multiple fans failed
- Very slow ("laggy") or non-responsive console output over SSH
- Failed Takeover or Giveback
Note: This issue is most likely to occur on newer systems with serial console ports running at 115200 baud
Example:
Log Collection from: SERIALNUM=xxxxxxxxxxx SEQ=31 HOSTNAME=node01-1
================ Log #1 start time Thu Jan 1 00:00:56 1970
================ Log #1 truncated at Wed Apr 29 09:06:18 2020 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????!
????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????!
??????????????????????????????????????????????????????????????!
????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????!
???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
================ Log #1 end time Wed Apr 29 09:06:35 2020
Verify using AutoSupport logs in your Active IQ dashboard:
- Review the SP-LATEST-CONSOLE-LOGS file to look for garbage characters, as displayed above
- Review the SP-LATEST-RUNTIME file:
- In the
"top"
subsection, find the getty process (will be ngetty or agetty depending on ONTAP version) and look for signs of serial port activity and a possible serial port overload condition (as indicated by high CPU%):
- In the
PID PPID USER STAT VSZ %VSZ CPU %CPU COMMAND
993 1 root D 6304 2.2% 0 22.4% /sbin/ngetty 115200 parallel
2408 1 sysadmin S 1912 2.5 0 23.7% /sbin/agetty --nohostname -L console 115200 vt100
Note: getty may not always be listed under Top in some ONTAP versions
- In the
"top"
or"uptime"
subsections, look at the values of"load average"
.
Load average: 5.22 4.10 2.12 13/218 26338 02:10:24 up 76 days, 5:07, 0 users, load average: 5.22, 4.10, 2.12
- The three values highlighted above represent the load averages of the SP over the last 1, 5 and 15 minutes, respectively.