TECHNISCHER ANWENDUNGSBERICHT

Im Rechenzentrum – wo und was prüfe ich?

PDF herunterladen

Überblick

Das Rechenzentrum ist das Herz jedes Unternehmensnetzwerks, das die Übertragung, den Zugriff auf und die Speicherung aller Informationen ermöglicht. Hier verbindet die Verkabelung die LANs des Unternehmens mit Switches, Servern, SANs und anderen aktiven Geräten, die alle Anwendungen, Transaktionen und Kommunikationen unterstützen. Dort wird das LAN auch mit den Netzwerken des Service-Providers verbunden, die den Zugang zum Internet und anderen Netzwerken außerhalb der Anlage bereitstellen.

Die Menge an Informationen und Anwendungen wächst ständig, und kleine und große Rechenzentren erweitern ihre Kapazitäten, um das wachsende Volumen von aktiven Geräten und mehr Links als je zuvor aufzunehmen, während sie gleichzeitig die Datenübertragung von und zu Geräten mit großen Bandbreiten und niedriger Latenz ermöglichen müssen. Ungeachtet der Größe und Art eines Rechenzentrums, der Schalttopologie und der Anwendungen befolgt die zugrunde liegende Verkabelungs-Infrastruktur, die alle zur Verbindung der Rechenzentrumgeräte erforderlichen Links erstellt, die gleichen grundlegenden Designprinzipien, die auf Industriestandards basieren.

Der ANSI/TIA-942-A Infrastructure Standard for Data Centers (Infrastruktursystem für Rechenzentren) bezieht sich auf die Serie TIA-568 der Verkabelungsstandards, enthält jedoch zusätzliche, Rechenzentren betreffende, Informationen. Er beschreibt die spezifischen funktionellen Bereiche des Rechenzentrums und gibt Mindestempfehlungen für Führungen und Abstände, Backbone und horizontale Kabelmedienabstände, Redundanz, Kabelverwaltung und Umweltbedingungen. Ähnlich TIA-942-A verweisen andere Rechenzentrum-Standards wie ISO/IEC 24764 Information technology - Generic Cabling Systems for Data Centres (Informationstechnologie – Generische Kabelsysteme für Rechenzentren) und ANSI/BICSI 002-2014 Data Center Design and Implementation Best Practices (Best Practices für Rechenzentrum-Design und -Implementierung) auch auf verschiedene Funktionsbereiche des Rechenzentrums, die die Platzierung von Ausrüstung definieren und dabei Skalierbarkeit und Zuverlässigkeit ermöglichen.

Je nach dem getesteten Funktionsbereich des Rechenzentrums kann man verschiedene Anwendungen, Kabel und Konnektivität antreffen. Ein Verständnis der Funktionsbereiche des Rechenzentrums und der Prüfungsbedürfnisse in jedem Bereich wird helfen, das Testen für das Rechenzentrum vorzubereiten.

Angefangen mit dem Eingangsraum (ER)

Der ER (auch manchmal als Eingangsanlage bezeichnet) wird als der Serviceeingang betrachtet und enthält Abgrenzungspunkte für das Netzwerk des Anbieters. Er kann auch Abgrenzungspunkte für Backbone-Verkabelung zu anderen Gebäuden, z. B. in einer Campus-Umgebung, enthalten. Der ER enthält Geräte des Service-Anbieters und kann sich innerhalb oder außerhalb des Rechenzentrums befinden, je nach den Anforderungen des Service-Anbieters. In großen Hyperscale- oder Kolokations-Rechenzentren können mehrere ER vorhanden sein, die mehreren Service-Anbietern Zugang gewähren.

Der ER ist die Stelle, an der das Außenanlagen-Kabel in das Backbone-Kabel des Rechenzentrums übergeht. Während manches vieladrige OSP-Kupferkabel für Voice-Service in den ER kommen kann, ist der hier verwendete Hauptkabeltyp Singlemode-Glasfaser, auf der 40 und 100 Gig-Anwendungen wie 40GBASE-LR4, 100GBASE-ER4 oder 100GBASE-LR4 ausgeführt werden. Es können auch einige eingehende Multimode-Backbone-Glasfasern von nahe gelegenen Campus-Gebäuden vorhanden sein, die 10, 40 oder 100 Gig-Anwendungen wie 10GBASE-SR, 40GBASE-SR4 oder 100GBASE-SR4 ausführen.

Für den Übergang von OSP-Glasfaser zu Anlagen-Glasfaser im ER ist Fusionsspleißen die am häufigsten angewendete Methode des Anschließens an Glasfaser-Panels mit Duplex-Singlemode-Glasfaserverbindungen für den Anschluss an Geräte des Service-Anbieters. Manchmal gehen eingehende Backbone-Außen/Innen-Glasfasern von nahe gelegenen Gebäuden durch den ER und direkt in den Hauptverteilungsbereich.

Was wird also im ER geprüft? In den meisten Fällen wird der Abgrenzungspunkt des Service-Anbieters von diesem installiert und getestet, aber es können auch Singlemode- oder Multimode-Backbone-Glasfaserverbindungen zu anderen Gebäuden vorhanden sein, die getestet werden müssen. Aufgrund der größeren Kabellängen im Freien zwischen Gebäuden, der Schwierigkeit, die Glasfaser physisch zu überprüfen und der allgemeinen Anwendung von Spleißen, kann das Tier 2-Testen mit einem OTDR wie dem OptiFiber® Pro von Fluke Networks in diesen Fällen ideal sein. Dieser kann beim Orten von Spleißen helfen und bei der Fehlersuche genau bestimmen, was einen hohen Dämpfungsmesswert verursacht.

Ein optischer Dämpfungstest wird auch allgemein zum Zertifizieren des Campus-Glasfaser-Backbones verwendet, damit sichergestellt wird, dass die Einfügedämpfung den Anforderungen der Anwendungen entspricht. Darüber hinaus findet man häufig Multifiber (d. h. 12-Faser) MPO-Konnektivität im ER, die Multimode-Anwendungen mit höherer Bandbreite unterstützen muss, wie z. B. 40 und 100GBASE-SR4. Bei MPO-Konnektivität ist der Gebrauch eines Testers mit MPO-Prüffunktionen viel schneller und genauer als ein Duplex-Tester, der die Anwendung von MPO-an-LC-Fanout-Kabeln, eine 3-Kabel-Referenzmethode und etwa 15 verschiedene Schritte zum Testen jedes der sechs Paare von Duplex-Glasfasern erfordert.

Weiter zum Hauptverteilungsbereich (MDA)

Als der zentrale Verteilungspunkt enthält der MDA die Haupt-Switches und Router für die Verbindung zu LAN, SANs und anderen Bereichen des Rechenzentrums. Dieser Bereich kann mehrere horizontale Verteilungsbereiche (HDA) oder Geräteverteilungsbereiche (EDAs) im Rechenzentrum bedienen, wie auch Telekommunikationsräume (TRs), die in einer Anlage verstreut sind. Der MDA enthält gewöhnlich Multimode- oder Singlemode-Backbone-Kreuzverbindungen hoher Dichte. Dabei findet man Multimode am häufigsten als Verbindung zu anderen Bereichen des Rechenzentrums aufgrund der niedrigeren Kosten für Übertragungsgeräte und der kürzeren Entfernungen. Zusätzlich zu der Duplex-Glasfaserkonnektivität verbreitet sich Multifiber-MPO-Konnektivität in diesem Raum immer mehr, um Anwendungen mit höherem Bandbreitenanspruch zu unterstützen, wie 40 and 100GBASE-SR4.

Jedes Rechenzentrum hat mindestens einen MDS und während dieser sich normalerweise innerhalb des Rechenzentrums befindet, können größere Kolokationssanlagen den MDA an einen eigenen sicheren Ort verlegen. In kleineren Rechenzentren kann der MDA auch eine horizontale Kreuzverbindung zum Verbinden an Geräte in EDAs enthalten, die direkt vom MDA bedient werden.

Was wird also im MDA geprüft? Hier werden primär Singlemode- oder Multimode-Glasfasern mit Duplex-LC/SC-Konnektivität oder Multifiber-MPO-Konnektivität getestet. Die anderen Enden dieser Links befinden sich im Zwischenverteilungsbereich, horizontalen Verteilungsbereich oder Geräteverteilungsbereich. Der primäre zu testende Leistungsparameter ist Einfügedämpfung, da diese kritisch für die Unterstützung der Anwendung ist, besonders in 40- und 100GBASE-SR4-Anwendungen, die strenge Einfügedämpfungsvorgaben haben. Die genauesten Dämpfungsmesswerte erhält man mit einem Testsatz für optische Dämpfung.

Optionaler Zwischenverteilungsbereich (IDA)

Der IDA ist ein optionaler Bereich, der hauptsächlich in großen Rechenzentren verwendet wird, wie z. B. in Zentren, die über mehrere Stockwerke oder zahlreiche Räume verteilt sind. IDAs werden im ISO/IEC 24764-Standard als Zwischenverteiler (ID) bezeichnet, können Verteilerknoten enthalten und sollen Wachstum im Rechenzentrum ermöglichen oder Segmentierung für spezifische Anwendungen bereitstellen. Jeder Raum oder jedes Stockwerk kann ein oder mehrere IDA haben, der/die einen oder mehrere horizontale Verteilungsbereiche (HDA) und Geräteverteilungsbereiche (EDA) innerhalb des Rechenzentrums sowie einen oder mehrere TR außerhalb des Rechenzentrums versorgen.

Aggregations-Switches und Glasfaser-Kreuzverbindungen werden gewöhnlich im IDA gefunden, daher sind die Arten von Verbindungen hier ähnlich denen, die im MDA gefunden würden – Glasfasergehäuse mit entweder Multimode oder Singlemode und entweder Duplex-Glasfaserverbindungen oder MPO. Im IDA werden Sie das andere Ende der Glasfaser-Links vom MDA testen und auch hier ist wieder die Einfügedämpfung der wichtigste Parameter und die genauesten Ergebnisse werden von einem Testsatz für optische Dämpfung erhalten.

Irgendwo in den horizontalen Verteilungsbereich (HDA)

Während ein sehr kleines Rechenzentrum, in dem der MDA alle Geräte direkt über eine horizontale Kreuzverbindung unterstützen kann, u. U. keinen HDA enthalten kann, enthalten die meisten Rechenzentren mindestens einen HDA, der als Verteiler für den EDA dient. In einem Top-of-Rack (ToR) Szenario, in dem sich die Zugangs-Switches in jedem Schrank in dem EDA befinden und direkt mit Switches im IDA oder MDA verbunden sind, wird das HDA eliminiert.

Wie das TR im LAN, wo das Backbone-Kabel zu Horizontalkabel übergeht, enthält das HDA Aggregations-Switches, Zugangs-Switches, SAN-Switches und Tastatur-/Video-/Maus (KVM) -Switches für die Geräte (d. h. Server) im EDA. Ein großes Rechenzentrum hat normalerweise mehrere HDA für zahlreiche EDA des Rechenzentrums. HDA können in einem eigenen Bereich konzentriert oder an einer End-of-Row (EoR) oder Middle-of-Row (MoR) Stelle für die Geräte platziert werden, die sie bedienen. Das heißt, dass Sie einen HDA und EDA innerhalb einer einzelnen Reihe testen werden.

Glasfaser-Backbonekabel vom MDA (oder IDA) wird am HDA abgeschlossen, um die Glasfaser-Uplinks an größere Core-Switches anzuschließen. Der HDA enthält dann deshalb eine Glasfaserkonnektivität, die der in dem MDA ähnlich ist. Während die Glasfaser vom MDA MPO Trunk-Verkabelung verwenden kann, enthalten die Verbindungen an der Vorderseite der Glasfaser-Panels in diesem Bereich normalerweise Duplex-LC/SC-Konnektivität, da die Switches hier eine niedrigere Geschwindigkeit haben.

Der HDA enthält auch horizontale Kreuzverbindungen und Kupferverbindungen Category 6 oder höher zum Verbinden von Switches an den EDA über Anwendungen wie 1000BASE-T oder 10GBASE-T. Daher ist der HDA einer dieser Rechenzentrum-Plätze, wo Sie wahrscheinlich Kupfer- und Glasfaserkabel testen werden – Glasfaser-Uplinks zum MDA (oder IDA) und Kupferlinks zum EDA. Dies ist auch der Bereich des Rechenzentrums, in dem Category 8-Kabel zur Unterstützung der kommenden 25GBASE-T und 40GBASE-T gefunden werden. Idealerweise wollen Sie ein Kupfer-Zertifizierungstestgerät für diesen Raum, der alles von Cat 5e bis Cat 8 testen kann, wie z. B. ein Tester der DSX CableAnalyzer™-Serie von Fluke Networks, da Sie auf unterschiedliche Leistungsstufen stoßen könnten. Für noch höhere Flexibilität können OTDR und Dämpfungsmodule zur DTX-Serie hinzugefügt werden, um das Glasfasertesten zu unterstützen.

Vielleicht in einen Zonen-Verteilungsbereich (ZDA)

Der optionale ZDA, der in den meisten Unternehmens-Rechenzentren gewöhnlich nicht verwendet wird, ist im Grunde ein Konsolidierungspunkt innerhalb der horizontalen Verkabelung zwischen HDA und EDA und enthält keine aktiven Geräte. Der ZDA soll keine Kreuzverbindung enthalten, kann jedoch ein Interconnect zum Anschließen von horizontalen Kabeln vom EDA enthalten. Der ZDA kann bequem sein, wenn es praktikabel ist, Patchpanels im HDA zum Verbinden zum EDA zu installieren, und es kann einfachere Neukonfigurationen in sehr großen Rechenzentren ermöglichen. Wie bei einem Konsolidierungspunkt ist es wichtig, die permanenten Kupferlinks zwischen dem HDA und dem ZDA getrennt zu testen und dann das gesamte Link vom HDA zum EDA zusammen mit dem ZDA zu testen, um alle Probleme mit dem Anschluss am ZDA auszuschließen.

Und zum Schluss in den Geräteverteilungsbereich (EDA)

EDA sind Räume, die für Endgeräte zugeteilt sind, wie Server und Speichergeräte, die in Schränken oder Racks montiert werden. Aufgrund der wachsenden Anzahl an Anwendungen und Server-Virtualisierungen, ist Platz im EDA gewöhnlich knapp. Hier werden Kabel von HDA (oder ZDA) wie die oben erwähnten Kupferkabel Cat 6 oder höher an Patchpanels in dem Schrank oder Rack abgeschlossen, der den Geräten entspricht, die sie versorgen. Die am häufigsten für diese Zugang-Switch-an-Server-Verbindungen verwendete Anwendung ist 10GBASE-T. Dies ist ein weiterer Bereich des Rechenzentrums, in dem Category 8-Kabel zur Unterstützung der kommenden 25GBASE-T und 40GBASE-T gefunden werden.

Der EDA ermöglicht auch Point-to-Point-Verkabelung zwischen Geräten, wie in einem ToR-Szenario, wo Zugangs-Switches im EDA sich gewöhnlich in jedem Schrank befinden und direkt mit dem MDA oder IDA verbunden werden und dadurch den HDA eliminieren. In einer ToR-Anwendung werden SFP+- oder SFP28-Twinax-Direktanschlusskabel (DAC) oft für den direkten Anschluss von ToR-Zugangs-Switches an Server im gleichen Schrank verwendet, während die schnelleren QSFP+ und QSFP28 DAC gewöhnlich für Verbindungen von SAN-Switchs an Speichergeräte verwendet werden. Das Testen von SFP/QSFP-Modulen beinhaltet die Bestätigung, dass Stromversorgung ordnungsgemäß angeliefert wird.

Best Practices bewähren sich

Wann immer Sie mit Glasfaser zu tun haben, ist es wichtig, dass Sie gute Hygiene einhalten, und das bedeutet: Inspektion und Reinigung von Endflächen. Verunreinigungen auf der Glasfaser können nicht nur Leistungsprobleme verursachen, sie können auch vom Patchkabel zum Geräteanschluss übertragen werden und sogar Transceiver beschädigen. Vor dem Anschließen eines Kabels, selbst wenn dieses frisch aus der Packung kommt, muss es inspiziert werden, um sicherzustellen, dass es rein ist. Wenn dies nicht der Fall ist, reinigen Sie es, untersuchen Sie es erneut, um sicherzustellen, dass die Verschmutzung entfernt worden ist.

Viele Rechenzentren haben begonnen, leicht verwendbare Glasfaser-Click-Cleaner mit Velcro(R)-Streifen an jedem Rack aufzuhängen, um gute Glasfaser-Hygiene zu fördern.

Ungeachtet, wo im Rechenzentrum getestet wird, müssen Best Practices immer noch befolgt werden. Zuallererst erfordern Industrienormen für 40 und 100 Gigabit-Links Encircled Flux-konformes Testen für das Testen von Multimode-Glasfaserlinks. Dann, da biegeunempfindliche Multimode-Glasfaser (BIMMF) beliebter wird, wird die Anwendung der EF-Methode noch wichtiger, da ein Wickeldorn keine Biegung erzeugen kann, die eng genug ist, um die Modi höherer Ordnung zu entfernen, die BIMMF auf den Faserkern begrenzt. Es ist auch wichtig, für die Tests Kabel zu verwenden, die nicht aus biegefesten Multimode-Fasern bestehen, um zu vermeiden, dass zu optimistische Ergebnisse erzielt werden.

Eine weitere wichtige Best Practice für das Testen von Multimode-Glasfaser enthält die Verwendung der 1-Kabel-Referenzmethode. Während eine 2-Kabel-Referenz einfacher erscheinen mag, führt die Referenz auf beide Testkabel zu optimistischen Ergebnissen und kann negative Dämpfungsergebnisse liefern. Nur die 1-Kabel-Referenz berücksichtigt die Dämpfung der Anschlüsse an beiden Enden des Kanals und ist damit am genauesten. Darüber hinaus lehnen viele Verkabelungsanbieter Ergebnisse ab, die mit der 2-Kabel-Referenz durchgeführt wurden, was den Erwerb einer Garantie verhindern könnte.

Bei der Durchführung von Tier 2-Prüfungen von Glasfasern in ER von MDA mittels eines OTDR sind die Messungen der Dämpfung von spezifischen Events wie Verbindern und Spleißen sowie der Gesamt-Verbindungsdämpfung abhängig von der Richtung, aus der die Messung vorgenommen wird. Deshalb werden bidirektionale Tests, bei denen der Durchschnitt aus den Ergebnissen der Messungen an beiden Enden eines Links gebildet wird, benötigt. Während bidirektionales Testen einmal zeitraubend gewesen sein mag, gibt es heute OTDRs, die den Prozess vereinfachen, in dem sie eine Schleife am entfernten Ende einsetzen, mit der von einem Ende aus getestet und automatisch der bidirektionale Durchschnitt berichtet wird.

Auch die Kupferuntersuchung im Rechenzentrum hat einige wichtige Aspekte. Alien Crosstalk ist der wichtigste Leistungsparameter, der die Betriebsfähigkeit von 10GBASE-T beeinflussen kann, und da 10GBASE-T die typische Anwendung für Switch-to-Server-Verbindungen im Rechenzentrum ist, ist ein Test auf Alien Crosstalk häufig erforderlich, um ein System zu gewährleisten. Die erfolgt oft mithilfe eines Probenumfangs oder der jeweiligen Anforderungen des betreffenden Kabellieferanten. Wenn Sie eine Stichprobengröße für den Alien-Crosstalk-Test festlegen, ist es ratsam, eine gleiche Anzahl von kurzen, mittleren und langen gestörten Links zu testen.

Eine weitere Überlegung bei der Prüfung von Kupfer ist die Abschirmungsintegrität. Geschirmte Kupferverkabelungen werden im Rechenzentrum öfter gesehen als in jedem anderen Raum, und die Kategorie 8 Verkabelung ist ein abgeschirmtes Kabel. Geschirmte Verkabelung bietet weit überlegene Störsicherheit im Vergleich zu ungeschirmter und bei korrekter Installierung sollten Sie auf einem geschirmten Verkabelungssystem kaum Alien-Crosstalk sehen. Aber wenn sie nicht ordnungsgemäß installiert ist, kann auch geschirmte Verkabelung fehlschlagen. In einer Rechenzentrumsanwendung mit geschirmter Verkabelung, bei der ein geerdetes Patchfeld mit einem anderen geerdeten Patchfeld verbunden ist, kann ein offener Schirm an einem Kabel zu einem fehlgeschlagenen Alien-Crosstalk-Test führen. Während die meisten Tester nach einer einfachen Kontinuität zwischen der Abschirmung am Hauptgerät und der Abschirmung am Vor-Ort-Gerät suchen, wird dieses Gleichstromsignal nach jeder Möglichkeit suchen, um an das Vor-Ort-Gerät zu gelangen - auch über die gemeinsame Gebäudeerde, an die die Patchfelder und Racks angeschlossen sind. Das bedeutet, dass der Tester eine angeschlossene Abschirmung anzeigen wird, auch wenn sie es nicht ist. Glücklicherweise kann dies mit einem Tester vermieden werden, der die Abschirmungsintegrität prüfen kann.