InfiniBand Switch Platform Hardware User Manual
Mellanox Technologies
3
Table of Contents
List of Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
List of Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
Revision History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
About this Manual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Chapter 1 Installation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.1 Installation Safety Warnings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2 Environmental and Safety Recommendations . . . . . . . . . . . . . . . . . . . . 14
1.3 Chassis Package Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4 Leaf Package Contents. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.5 Management Package Contents. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.6 Physical Installation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.6.1 ESD Connection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.6.2 Installing the Cable Holder. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.6.3 Installing the Chassis. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
1.6.4 Ground Connections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
1.7 Power Connections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
1.7.1 Powering Up the Switch Platform. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.8 InfiniBand QSFP Cable Installation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.8.1 Supported Approved Cables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
1.8.2 Cable Power Classes. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . 35
1.9 Hot Swap Insertion and Extraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
1.9.1 Power Supply Units . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.9.2 Leaf Boards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
1.9.3 Spine Boards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
1.9.4 Fan Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
1.9.5 Management Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
1.9.6 Switch Shut-Down Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Chapter 2 Interfaces. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.1 LED Status Indicators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.1.1 Power Supply Unit LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.1.2 Leaf Board LED Indicators. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.1.3 Spine Board LED Indicators. . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . 54
2.1.4 Spine Side Panel Display LED Indicators . . . .
. . . . . . . . . . . . . . . . . . . . 55
2.1.5 Management Module LED Indicators. .
. . . . . . . . . . . . . . . . . . . . . . . . . . 56
2.1.6 Port Connector Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.2 Air Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.3 QSFP Cable Power Budget Classification. . . . . . . . . . . . . . . . . . . . . . . . 59
2.4 Management Module Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.4.1 I2C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.4.2 CONSOLE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.4.3 MGT– Management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.4.4 USB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
2.4.5 Reset – RST. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60