An einem Wochenende zwischen Fußball-EM und Olympia

Hosting-Anbieter Verio Europe zieht ein komplettes Rechenzentrum innerhalb von 28 Stunden um – Ein Erfahrungsbericht

Wem es in den eigenen vier Wänden zu eng wird, schaut sich nach größeren Räumlichkeiten um. Was für Privatpersonen gilt, trifft auch auf Rechenzentren zu: Im Januar diesen Jahres fällte Verio Europe die Entscheidung sein Rechenzentrum aus der Frankfurter City nach Frankfurt Nord zu verlegen, da der Hosting-Anbieter keine Möglichkeiten mehr zu räumlichen Erweiterungen sah. Ab dem Startschuss Anfang Februar liefen die Vorbereitungen: Schritt für Schritt wurde der Projektplan ausgearbeitet, das Team inklusive externer Berater formiert, die Kunden kontinuierlich mit Mailings auf dem Laufenden gehalten, bis es schließlich an einem Wochenende im Juli, abgestimmt auf das Ende der Fußball-EM, den Christopher Street Day und noch vor Beginn der olympischen Spiele, soweit war: Der größte Umzug in der Geschichte von Verio Europe in Deutschland konnte starten.

Verio Europe ist eines der größten weltweit agierenden Webhosting-Unternehmen und bietet Geschäftskunden die gesamte Bandbreite an Internet Services, wie Managed Hosting, Sicherheitsmanagement, Applikationsmanagement sowie weltweite Netzwerkdienstleistungen für die Auslieferung von Media- bzw. Webinhalten (Content Delivery Network Services). Als Teil der weltweiten IP Lösungs-Strategie von NTT Communications hat es sich Verio Europe zur Aufgabe gemacht, Kunden mit der erforderlichen Infrastruktur zu versorgen, die diese zur Umsetzung ihrer Online-Geschäftsaktivitäten benötigen. Ende 2007 zeichnete sich bereits ab, dass die Kapazitäten im Rechenzentrum der Frankfurter City an ihre Grenzen stoßen würden. Dies

betraf neben neuen Server- und Netzwerkkapazitäten auch damit zusammenhängende Ausbauten, wie zusätzliche Kühleinheiten und einen höheren Strombedarf. 

Entscheidung für Frankfurt Nord

Statt ein weiteres Rechenzentrum anzumieten, entschied sich das europäische Management von NTT für einen Komplettumzug und folgte damit der Empfehlung des Rechenzentrumsleiters Thomas Mitschke, Data Center Director Verio Europe. Noch bevor feststand, wo das neue Rechenzentrum stehen wird, wurden die Kunden von dem Beschluss in einem Brief informiert. Hierzu Thomas Mitschke: „Mit diesem sehr frühen Kundenmailing Anfang Februar wollten wir unsere Kunden gleich ‚ins Boot holen‘ und ihnen zeigen, dass wir alles tun, um unseren Service für sie zu verbessern. Besonderes Augenmerk wurde auf die mehrfache Redundanz der Stromversorgung gelegt.

Das Thema Strom spielte auch bei der Standortprüfung eine wichtige Rolle: Die neuen Räumlichkeiten mussten neben einem größeren Platzangebot und einer redundanten Kühlung, eine 3-fach redundante Stromversorgung vorweisen. Außerdem war es wichtig im Frankfurter Raum zu bleiben, allein schon um die Ausfallzeit während des Umzugs durch einen weiten Transportweg nicht noch zu verlängern. Ende Februar stand der neue Standort fest: Frankfurt Nord erfüllte alle Bedingungen an Platz, Strom und Kühlung und lag nicht weiter als 25 km vom alten Rechenzentrum in der Frankfurter City entfernt.

Planung ist der halbe Umzug

Das 12-köpfige Projektteam um Thomas Mitschke begann Mitte Februar mit den ersten Planungen. Bei 100 Racks, 1000 Servern und über 10.000 Kabelverbindungen, die teilweise in der zentralen Infrastruktur mündeten, teilweise innerhalb der Racks verliefen, würde, so die Befürchtungen des Teams, die Fehlerquote beim kompletten Entfernen der einzelnen Kabel und ihrem Wiederanschluss zu hoch ausfallen.

Die Lösung lag schließlich darin, immer zwei Racks gemeinsam zu transportieren und alle internen Kabelverbindungen zu belassen. Damit mussten am neuen Standort „nur“ noch die Kabel zur zentralen Netzwerkinfrastruktur berücksichtigt werden, die mit circa 3500 Kabeln immer noch recht hoch lag. Aus diesem Grunde erfolgte ein Teil der Netzwerkinstallation vorab.

Für einen reibungslosen Ablauf war auch hier die Vorbereitung im Vorfeld wichtig: Neben der bereits angesprochenen Vorabverkabelung der Netzwerkinfrastruktur wurde auch die Verbindung zu Console Switches oder Fiber Patchpanels vorab gelegt. Auch das Labelling aller Komponenten (Server und Verbindungen) musste überprüft und gegebenenfalls vervollständigt werden.

Natürlich musste Verio Europe auch für die Integrität und Verfügbarkeit der Kundendaten sorgen, für den Fall, dass einzelne Komponenten nach dem Umzug nicht mehr starten würden. Deshalb wurden im Vorfeld sämtliche Kundenfiler auf ein 100TB großes Storage-System kopiert. Lokale Kundendaten wurden ohne Ausnahme auf Band gesichert.

Ein anderer wichtiger Punkt, der in der Vorbereitung keinesfalls außer gelassen werden durfte, war die Versicherung der LKW-Transporte. Ab Übergabe an die Spedition und damit ab Überschreitung der ersten Rechenzentrumsschwelle musste das Inventar gegen Raub, Unfälle etc. versichert werden. Um den vereinbarten Transportwert von 1 Million Euro pro Fahrt nicht zu überschreiten, wurde die Hardware in Transporteinheiten von jeweils sechs Racks geteilt.

Ausfallzeit unerwünscht

Die Kunden von Verio Europe, die sich sowohl aus Großkunden wie auch aus dem Mittelstand zusammensetzen, wurden nicht nur über die Vorzüge des neuen Rechenzentrums informiert, sondern auch in verschiedenen Mailings auf den Umzug vorbereitet. NTT bot ihnen die Möglichkeit, Zeitfenster anzumelden, in denen ein Ausfall ihrer Internetpräsenz unter keinen Umständen möglich ist. Thomas Mitschke hierzu: „Wir hatten etliche Kunden, die uns beispielsweise mitteilten, dass der Umzug ihrer Racks unbedingt erst nach Samstag früh 3 Uhr stattfinden kann, sei es wegen Börsennotierungen oder anderen wichtigen Ereignissen.“

Ein genauer Zeitplan, der alle Kundenanforderungen berücksichtigte, wurde erstellt. Waren Kundenserver auf mehrere Racks verteilt, mussten diese im Vorfeld auf benachbarten Racks zusammengelegt werden, damit diese dann in einer Transporteinheit verlegt werden konnten.

Komplizierter wurde es bei Shared Storage Systemen, d.h. den gemeinsam genutzten Plattenspeichersubsystemen mehrerer Kunden: Hier war erheblicher Aufwand bei der Abstimmung notwendig. Für Kunden, die gar keine Ausfallzeit tolerieren konnten, hat Verio Europe eine (verkleinerte) Kopie der gesamten RZ-Infrastrukur im neuen Rechenzentrum vorgehalten. Und wer partout am Umzugswochenende im Juli wegen besonderer Termine keine Downtime tolerieren konnte, wurde eine Woche früher umgezogen. Allen Kunden wurde außerdem eine Maintenance-Page mit dem Hinweis auf Wartungsarbeiten während der Ausfallzeit eingerichtet. 

Der große Tag

Nachdem der Testlauf 4 Wochen vor D-Day gut geklappt hatte, versammelte sich die erste Schicht am Freitag, den 25. Juli um 15 Uhr, um schließlich pünktlich um 20 Uhr im alten Rechenzentrum mit der Demontage zu beginnen. Die Systeme wurden sicher (per Scripts) heruntergefahren und die Kabelverbindungen zur zentralen Infrastruktur wurden gekappt.  Im Doppelpack wurden die Racks, die jeweils bis zu 700 kg wiegen, hydraulisch angehoben und über einen eigens für dieses Wochenende vergrößerten Ausgang zu den  angemieteten LKWs transportiert. Dank der vorher bei der Stadt angemeldeten Straßensperre konnten die luftgefederten Spezial-Fahrzeuge, ungehindert beladen werden. Für das Beladen am alten Rechenzentrum war Security-Personal abgestellt, das Anweisung hatte, den LKW zu keiner Zeit aus den Augen zu lassen.

Insgesamt waren rund 100 Personen im Einsatz, die sich jeweils in Schichten von 10 Stunden abwechselten. Wer gerade nicht arbeiten musste, durfte sich in einem eigens angemieteten Hotel in der Nähe des neuen Rechenzentrums ausruhen. Nach 28 Stunden war der Umzug komplett beendet: Nach 12 Touren haben 1000 Server, 100 Racks und um die 10.000 Kabel ein neues Zuhause gefunden. Hinzu kommt ein beträchtlicher Anteil an Ersatzteilen wie Kabel, Festplatten oder Server, der für mögliche Ausfälle vorgehalten werden musste.

Thomas Mitschke zieht ein positives Resümee: „Dank einer peniblen Vorbereitung und externer Unterstützung ist der Umzug sehr glatt über die Bühne gegangen. Es gab viel positives Feedback unserer Kunden, die vor allem den Informationsfluss im Vorfeld zu schätzen wussten.“ Und die Bilanz kann sich sehen lassen: Bei der abschließenden Endkontrolle mussten lediglich fünf defekte Festplatten und ein Kundensystemserver ausgetauscht werden; bei einer Gesamtzahl von rund 4000 Festplatten ein guter Schnitt.