We are in the process of migrating this forum. A new space will be available soon. We are sorry for the inconvenience.

BHS Netzwerk


oles@ovh.net
26.05.12, 21:12
Guten Tag,

wir haben bereits ein Wenig von dem Gebäude, dem Stromnetz, den Türmen und den
Servern für die BETA erzählt, aber was gibt es eigentlich neues beim Netzwerk in
BHS?

Es geht voran... und jede Woche wird es besser!

Derzeit haben wir 3 Glasfaser-Paare zwischen unserem BHS Datacenter und Montréal.
Wir verwalten diese selbst und haben momentan 2x80 Gbit/s geschaltet. Wir haben
beschlossen, unseren Haupt-POP in Montréal bei Cologix 3 (ehemals Canix 3)
aufzubauen. Wir haben dort einige Racks, 2 Router und eine "kleine" 60 Gbit/s
Anbindung Richtung New York/Toronto/London. Interessant: Montréal/London läuft nicht
über die USA, sondern direkt über Kanada.

Es handelt sich dabei um das Netzwerk, mit dem wir die ALPHA und BETA Tests machen.
Später werden wir es natürlich weiter behalten, um eine gute Anbindung Richtung
Montréal sicherzustellen.

Parallel dazu arbeiten wir am Aufbau eines Hochkapazitäts-Netzwerks mit hoher
Verfügbarkeit zwischen:
- BHS und New York (ohne Umweg über Montréal)
- BHS und Chicago (ohne Umweg über Montréal)
Das Ziel dabei ist, die Latenzen zu verringern (also nicht zurück über Montréal zu
gehen) und umfangreiche Bandbreiten-Kapazitäten zwischen unserem Datacenter in BHS
und den beiden Haupt-POPs in den USA, New York (NY) und Chicago (IL), verwalten zu
können.

Ein wichtiger von uns erbrachter Mehrwert ist unser Netzwerk und die Qualität der
Bandbreite. Wir können dies sicherstellen, da wir in Europa "Dark Fiber" ankaufen,
die Hardware für deren Betrieb selbst auswählen und das Netzwerk mit unseren eigenen
Teams verwalten.

Da wir in den USA das Business-Modell, mit dem wir in Europa erfolgreich waren,
replizieren wollen, ist es für uns unerlässlich, dass wir die Glasfasern selbst
verwalten.

Und das ist nicht einfach. Warum? Weil die Betreiber vor Ort uns die Glasfasern
am liebsten nicht verkaufen und selbst betreiben lassen möchten. Sie betreiben die
Glasfasern lieber für uns und verkaufen uns managed Dienstleistungen. Dabei gibt es
natürlich Probleme mit dem Geschäftsmodell (also dem Preis), aber vor allem hindert
uns dieses Modell daran, von den neuesten technologischen Innovationen (wie zum
Beispiel kohärenten 100 Gbit/s) zu profitieren und diese unseren Kunden zur
Verfügung zu stellen.

Die Betreiber hier kaufen oder verkaufen Glasfasern eher nicht, sondern tauschen
diese ("Swap") im Verhältnis 1 zu 1 ("1 Meter für 1 Meter"). Man muss also in eigene
Netzwerke investieren (Kabel verlegen) und kann danach erst einen Tausch der
Glasfasern auf den Strecken, die uns interessieren, gegen andere Strecken, die die
anderen Betrieber interessieren könnten, anbieten. Zum Glück machen nicht alle
Anbieter nur solche Tauschgeschäfte...

Also, was ist nun mit dem Netzwerk?

Wir werden in den nächsten Tagen den Vertrag für ein Glasfaser-Paar zwischen
Montréal und New York (über Albany) mit einem Anbieter unterschreiben, der bereit
ist, mit uns zu reden. Dies wird es uns erlauben, unser eigenes Netzwerk mit
kohärenten 100 Gbit/s in Betrieb zu nehmen und unser Datacenter mit einer Kapazität
von anfänglich 1 Tbit/s anzubinden. Dieses Netzwerk sollte im August/September
einsatzbereit sein.

Parallel dazu reden wir auch mit einem Anbieter über eine zweite (redundante) Route
zwischen Montréal und New York. Diese Gespräche könnten innerhalb von 2 bis 3 Wochen
abgeschlossen und das Netzwerk im September eingerichtet sein. Das Ziel dabei ist,
zwei Routen und ein redundantes Netzwerk zu haben.

Wie können wir Redundanz erreichen?

Eine möglich Lösung, um Redundanzen sicherzustellen, ist die Einrichtung von 10 G
Schleifen auf der einen Route sowie 10 G Schleifen auf der anderen Route, und dies
alles wird dann an die Router angeschlossen. Mit dem OSPF/BGP Routing-Protokoll
verwendet der Router dann die Route, die UP ist, und falls diese DOWN ist, berechnet
der Router die zu verwendende Route neu.

Das Problem bei dieser Lösung ist, dass sie bei kleinen Netzwerken mit 50-100 Gbit/s
gut funktioniert - wir wollen aber 1 Tbit/s für den Anfang und längerfristig 8
Tbit/s... 1 Tbit/s an realer Bandbreite bedeutet dabei, dass 2 Tbit/s an Kapazität
bereitgestellt werden müssen. Das wären also 200x 10G anstatt 100x 10G. Das ist eine
sehr teure Lösung, denn eine 10G Schleife und jeder 10G Port auf dem Router kosten
einiges. Aber vor allem ist der Router dann schnell bei den pro Chassis verfügbaren
Ports am Limit. Das bedeutet also, dass man mehrere Router-Chassis benötigt und zum
Schluss ein in der Verwaltung sehr komplexes Backbone erhält.

Wir wollen aber ein einfaches und günstiges Backbone.

Die Lösung die wir aufbauen wollen sieht so aus: wir verwenden 2 optische Routen und
machen das Failover auf der optischen Ebene und nicht auf der Ebene der IPs auf den
Routern. Also auf Layer 1 und nicht auf Layer 3. Das bedeutet, dass die 100x 10G,
die mit den Routern verbunden sind, immer UP sind, und das darunter liegende
optische System verwendet eine der beiden optischen Routen. Die Verwendung solcher
geschützter Schleifen wird bei kohärenten 100 Gbit/s auch bezahlbar.

Deshalb ist es für uns notwendig, die Glasfasern selbst zu betreiben. Das optische
Equipment auf beiden Routen muss von der gleichen Marke sein und miteinander
kommunizieren. Das Ziel dabei ist, die optische Route in weniger als 200 ms wechseln
zu können, falls eine Panne auftritt.

Weiter mit unserem Netzwerk.

Für Montréal / New York sprechen wir auch noch über eine dritte Route, und zwar mit
zwei Anbietern: einer hat Glasfasern zwischen der kanadischen Grenze und Albany
(NY), und der andere zwischen Albany (NY) und New York (NY). Eine dritte Option
also. Und da wir nur 2 brauchen, um eine SLA von 100% sicherzustellen, sind wir
damit in einer guten Position

Auf der anderen Seite, von Montréal hin nach Toronto, ist es etwas komplizierter,
auch wenn wir bereits Gespräche gestartet haben. Das Gesetz sagt nämlich, dass man,
um ein Betreiber in Kanada sein zu können, der Betreiber zu 80% in den Händen von
Kanadiern mit Wohnsitz in Kanada sein muss. Deshalb gibt es nur 4-5 grosse Anbieter,
wenig Konkurrenz und somit auch wenige neue Investitionen - die letzten sind 1999-
2001 erfolgt. Seitdem nutzen die Betreiber die Glasfasern, die verfügbar sind, und
behalten diese für sich.

Aber wir verhandeln immerhin schonmal und kommen mit unserem Projekt voran. Zuerst
eine Glasfaser zwischen Montréal und Toronto (über Ottawa) mit einem Anbieter, der
uns diese zur Verfügung stellen will. Wir haben dafür noch keinen zeitlichen
Horizont, denn es ist nicht Toronto, das uns dabei interessiert, sondern Chicago
(IL).

Zwischen Toronto und Chicago (IL) gibt es 2 Routen:
- Über Buffalo (NJ)
- Über Detroit (MI)
Und an dieser Stelle wird alles ziemlich kompliziert. Auf der Route zwischen Toronto
und Detroit (MI) sowie zwischen Detroit (MI) und Chicago (IL) gibt es 3 Anbieter,
die über Glasfasern verfügen, und zwischen Buffalo (NJ) und Chicago (IL) ist es das
Gleiche, genauso wie zwischen Toronto und Buffalo (NJ). Aber die Verhandlungen sind
komplex. Warum?

Diese Routen liegen zwischen 3 grossen Börsen: New York, Toronto und Chicago. Diese
Routen sind sehr kurz und direkt (also "low latency") und werden deshalb für HFT
(High-Frequency Trading) verwendet, also ultraschnelle Börsengeschäfte. Die
beteiligten Server platzieren ihre Aufträge an der Börse, um mit Aufträgen zu
spekulieren, die andere erteilt haben. Das Ziel dabei ist, schneller als die anderen
zu sein und von Kursunterschieden an den verschiedenen Börsen zu profitieren, um
damit Geld zu machen. Es gibt da Unternehmen die bereit sind, Millionen zu
investieren, um einige Nanosekunden (ja, ns - nicht ms) zu gewinnen und so ihre
Aufträge vor der Konkurrenz platzieren zu können. Es ist deshalb sehr schwer, Dark
Fiber auf diesen Routen zu erhalten, da diese extrem teuer ist und die bereits
präsenten Anbieter keine neuen Konkurrenten wollen, damit sie weiterhin Geld damit
verdienen können. Wenn es also Probleme gibt, dann vor allem zwischen Toronto und
den USA.

Deshalb verhandeln wir mit mehreren Anbietern über den gemeinsamen Bau eines neuen
Netzwerks zwischen Montréal und Toronto über A20 statt über Ottawa. Auch wenn dies
ein Projekt über 2 Jahre ist ist es doch sehr interessant, den dieses Netzwerk wird
kürzer, also schneller als die vorhandenen sein. Und ausserdem eine Redundanz mit
dem über Ottawa laufenden bieten und uns in die Lage versetzen, Swaps anzubieten.

Und nach New York und Chicago?

Wenn wir dann in New York (NY) und Chicago (IL) präsent sind werden die
Verhandlungen über weitere Glasfasern etwas einfacher. Auch wenn sich die Anbieter
gegenseitig aufkaufen und den Dark Fiber Markt austrocknen (indem Sie nur managed
Dienstleistungen anbieten) gibt es immer noch einige Anbieter, deren Haupt- oder
sogar einziges Geschäft Dark Fiber ist. Wir haben also Glasfasern zwischen New York
(NY) und Ashburn (VA) sowie Chicago (IL). Und wir werden auch Glasfasern zwischen
Ashburn (VA), Atlanta (GA) und Miami (FL) haben. Warum Miami? Miami ist ein sehr
wichtiger Standort, da alle Anbieter aus Südamerika (Brasilien, Argentinien...) dort
ankommen und peeren und Traffic austauschen wollen.

Warum Glasfasern in Miami?

Mit kohärenten 100 Gbit/s ist es möglich, das optische Signal über 3500 km ohne
Repeater zu übertragen. Die derzeitige 10G Technologie (die wir in Europa verwenden)
erlaubt maximal 700 km. Wir wollen das Signal von Montréal nach Miami ohne
zwischengeschaltete Repeater übertragen - also ohne unnötige Kosten und mit einer
möglichst niedrigen Latenz. Eine echte Inoovation im Telekommunikations-Bereich, vor
allem in den USA, wo die Entfernung zwischen den Küsten 7500 km beträgt (Länge der
Glasfaser-Strecke). Für 7500 km müsste man das 10G Signal alle 700 km, also 10 Mal,
regenerieren, während man dies mit 100G nur 2 Mal machen muss: das sind 10 Mal mehr
Bandbreite für 5 Mal weniger Kosten. Die Auswirkungen auf den Preis der Bandbreite
zwischen Montréal und Los Angeles sind extrem: mit 100G kostet es 50 mal weniger,
bzw. man erhält für den gleichen Preis 50 Mal mehr Bandbreite! Das ist also sehr
interessant.

Und unser Netzwerk?

An der Westküste sind Los Angeles (CA) und Palo Alto (CA) die POPs, die wir mit
hoher Kapazität anbinden wollen. Auf diesen beiden POPs kommen die Anbieter aus
Asien (Japan, China, Singapur) und Australien an. Wir können dort per Glasfaser hin,
sobald der POP in Chicago (IL) direkt mit BHS verbunden sein wird. Und in der
Zwischenzeit nutzen wir erst einmal 10G.

Und sonst?

Ansonsten haben wir mehrere Dutzend Angebote für 10G auf verschiedenen Routen. Dabei
sind sowohl Angebote für 10G Standard als auch für den Aufbau eines managed
Netzwerks. Das kostet extrem viel, aber es ist möglich, und stellt deshalb ein
weiteres Ass in unserem Ärmel dar.

Das Netzwerk, das wir schliesslich in den USA haben wollen, sieht dann so aus:
http://yfrog.com/z/h0l8uahj

Mehr wollen wir gar nicht

Soviel zum Überblick beim Netzwerk. Der Aufbau und Betrieb von Netzwerken war noch
nie simpel. Wenn es einfach wäre, dann würde es jeder machen. Wenn es einfach wäre,
dann könnten wir dabei keinen Mehrwert einbringen. Wenn es bei diesem Projekt keine
Herausforderungen geben würde, dann hätten wir es nicht angefangen. Wir haben also
Schwierigkeiten und Herausforderungen gesucht, und die haben wir auch gefunden

Angesichts des Verlaufs der Gespräche in den letzten 6 Monaten und da mittlerweile
fast jede Woche neue (gute) Nachrichten eintreffen wissen wir nun, dass wir es
schaffen werden, unseren Kunden umfangreiche redundante (also mit einer SLA von
100%) Bandbreiten-Kapazitäten und geringe Latenzen zu garantieren.

Mit freundlichen Grüssen

Octave