Qlogic OFED+ Host, Software User'S Manual, Page: 4 / 284

iv IB0054606-02 A
OFED+ Host Software Release 1.5.4
User Guide
Subnet Manager Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-10
QLogic Distributed Subnet Administration . . . . . . . . . . . . . . . . . . . . . . . . . . 3-12
Applications that use Distributed SA . . . . . . . . . . . . . . . . . . . . . . . . . . 3-12
Virtual Fabrics and the Distributed SA. . . . . . . . . . . . . . . . . . . . . . . . . 3-13
Configuring the Distributed SA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-13
Default Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-13
Multiple Virtual Fabrics Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-14
Virtual Fabrics with Overlapping Definitions . . . . . . . . . . . . . . . . . . . . 3-15
Distributed SA Configuration File . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-17
SID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-18
ScanFrequency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-18
LogFile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-18
Dbg . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-19
Other Settings. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-19
Changing the MTU Size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-20
Managing the ib_qib Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-21
Configure the ib_qib Driver State. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-22
Start, Stop, or Restart ib_qib Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-22
Unload the Driver/Modules Manually. . . . . . . . . . . . . . . . . . . . . . . . . . 3-23
ib_qib Driver Filesystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-23
More Information on Configuring and Loading Drivers. . . . . . . . . . . . . . . . . 3-24
Performance Settings and Management Tips . . . . . . . . . . . . . . . . . . . . . . . 3-24
Performance Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-25
Systems in General (With Either Intel or AMD CPUs) . . . . . . . . 3-25
AMD CPU Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-28
AMD Interlagos CPU Systems . . . . . . . . . . . . . . . . . . . . . . . . . . 3-28
Intel CPU Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-28
High Risk Tuning for Intel Harpertown CPUs . . . . . . . . . . . . . . . 3-30
Additional Driver Module Parameter Tunings Available . . . . . . . 3-31
Performance Tuning using
ipath_perf_tuning
Tool . . . . . . . . . . . 3-34
OPTIONS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-35
AUTOMATIC vs. INTERACTIVE MODE. . . . . . . . . . . . . . . . . . . 3-36
Affected Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-37
Homogeneous Nodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-37
Adapter and Other Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-38
Remove Unneeded Services. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-39
Host Environment Setup for MPI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-40