InfiniBand Switch Platform Hardware User Manual
Mellanox Technologies
3
Table of Contents
List of Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
List of Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
Revision History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
About this Manual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Chapter 1 Installation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.1 Installation Safety Warnings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2 Environmental and Safety Recommendations . . . . . . . . . . . . . . . . . . . . 15
1.3 Chassis Package Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.4 Leaf Package Contents. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.5 Spine Package Contents. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.6 Management Package Contents. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.7 Physical Installation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.7.1 Starting with the Rack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.7.2 ESD Connection. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.7.3 Installation Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.7.4 Installing the Cable Holder. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
1.7.5 Ground Connections. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.8 Power Connections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
1.8.1 Powering Up the Switch Platform. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
1.9 InfiniBand QSFP Cable Installation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
1.9.1 Supported Approved Cables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
1.9.2 Cable Power Classes. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . 42
1.10 Hot Swap Insertion and Extraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
1.10.1 Power Supply Units. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
1.10.2 Leaf Boards. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
1.10.3 Spine Boards. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
1.10.4 Fan Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
1.10.5 Management Module. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
1.10.6 Switch Shut-Down Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
Chapter 2 Interfaces. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.1 LED Status Indicators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.1.1 Power Supply Unit LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.1.2 Leaf Board LED Indicators. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.1.3 Spine Board LED Indicators. . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . 61
2.1.4 Spine Side Panel Display LED Indicators . . . .
. . . . . . . . . . . . . . . . . . . . 63
2.1.5 Management Module LED Indicators. .
. . . . . . . . . . . . . . . . . . . . . . . . . . 64
2.1.6 Port Connector Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
2.2 Air Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
2.3 QSFP Cable Power Budget Classification. . . . . . . . . . . . . . . . . . . . . . . . 67
2.4 Management Module Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
2.4.1 I2C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
2.4.2 CONSOLE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
2.4.3 MGT– Management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67