OVH Community, your new community space.

BHS reseau


oles@ovh.net
13.08.13, 12:01
Bonjour,
On a un peu parlé du bâtiment, du réseau
électrique, de tours et de serveurs pour
la BETA mais "quoi de neuf" au niveau
du réseau à BHS ?

Ça avance. Et chaque semaine, c'est de mieux
en mieux !

Actuellement, nous avons 3 paires de fibres
entre notre DC BHS et Montréal. On les gère
en propre et nous avons 2x80Gbps allumés.
Nous avons décidé de créer notre principal
POP à Montréal chez Cologix 3 (ex Canix 3).
Nous avons quelques baies, 2 routeurs et un
"petit" 60Gbps vers New York/Toronto/London.
Intéressant: Montréal/London ne passe pas
par les USA mais en direct par le Canada.

Il s'agit du réseau qui nous permet de faire
la ALPHA et la BETA. Plus tard on le garde
bien sûr pour avoir une excellente collectivité
vers Montréal.

En parallèle, on travaille sur la mise en
place d'un réseau haute capacité et haute
disponibilité entre:
- BHS et New York (sans passer par Montréal)
- BHS et Chicago (sans passer par Montréal)
Le but est de réduit les latences (donc ne
pas remonter à Montréal) et gérer de grosses
capacités de bande passante entre notre DC
à BHS et les 2 principaux POP aux USA:
New York,NY et Chicago,IL.

L'une des nos valeurs ajoutées est le réseau
et la qualité de la bande passante. On arrive
à assurer ce service, car nous achetons en
Europe de la fibre noire, on choisit les
équipements pour allumer la fibre et on gère
le réseau avec nos propres équipes.

Comme on veut reproduire aux USA le business
modèle qui a fait notre succès en Europe,
il nous est indispensable d'opérer directement
les fibres optiques.

Et ce n'est pas simple. Pourquoi ? Parce
que les opérateurs en place ne souhaitent
pas vraiment nous vendre de la fibre et
nous la laisser opérer nous mêmes. Ils
préfèrent opérer la fibre pour nous et
vendre de services managés. Il y a bien
sûr un problème de modèle économique (et
donc le prix) mais surtout cette approche
nous empêche de profiter des innovations
technologiques (comme 100G cohérent) et
les faire profiter à nos clients

Mais, culturellement, les opérateurs ici
ne vendent pas ou n'achètent pas les fibres
mais les échangent (swap) avec un ratio
"1 mètre contre 1 mètre". Il faut donc
investir dans de réseaux en propre (faire
de la GC, creuser la terre) puis après
seulement proposer les échanges de fibres
sur les bouts qui nous intéressant contre
les bouts qui peuvent intéresser les autres
opérateurs. Heureusement tout le monde ne
fait pas que les échanges ..

Alors ? Ce réseau ?

On va signer dans les prochains jours
une paire de fibre entre Montréal et
New York (via Albany) avec un opérateur
qui veut bien discuter avec nous. Ceci
nous permettra d'allumer notre propre
réseau avec du 100G cohérent et connecter
notre DC à New York avec une capacité
initiale de 1Tbps. Ce réseau là devrait
être opérationnel en Août/Septembre.

On parle en parallèle avec un opérateur
sur une seconde route (redondante) entre
Montréal et New York. C'est une discussion
qui peut aboutir sous 2 à 3 semaines pour
un réseau en place en Septembre. Le but
est d'avoir 2 routes et de la redondance.

Comment faire de la redondance ?

Pour assurer les redondances, l'une des
solutions est de prendre les circuits 10G
sur l'une des routes et des circuits 10G
sur l'autre routes. Puis connecter tout
ça sur les routeurs. Avec le protocole
de routage OSPF/BGP, le routeur utilisera
la route qui est UP et si c'est DOWN, le
routeur recalculera la route à utiliser.

Le problème de cette solution est que ça
marche bien sur les petits réseaux de
50-100G mais pas dans notre cas où on
veut 1Tbps pour commencer et 8Tbps à terme.
Connecter 1Tbps de bande passante réel
veut dire connecter 2Tbps de capacité.
Ca veut dire 200x 10G au lieu de 100x 10G
C'est une solution très cher puisqu'un
circuit 10G coûte et chaque port 10G sur
un routeur coûte cher. Mais surtout puis
le routeur est vite limité en nombre de
ports par châssis. Ça veut donc dire
plusieurs châssis de routeurs et au
finale une backbone très complexe à
gérer.

Et nous, on veut une backbone simple et
pas cher.

La solution que nous souhaitons mettre
en place consiste à utiliser 2 routes
optiques et de faire le failover au niveau
optique et pas au niveau de IP sur les
routeurs. Au niveau 1 et pas au niveau 3.
C'est à dire que le 100x 10G qui sont
connectés aux routeurs sont toujours UP
et le système optique en dessus utilise
l'une ou l'autre routes optiques. Ca
s'appelle les "circuits protégés" et avec
100G cohérent ça devient très abordable.

C'est pourquoi opérer les fibres optiques
en propre est nécessaire. Les équipements
optiques sur les 2 routes doivent être
tous de la même marque et doivent communiquer
ensemble. Ceci dans le but de basculer la
route optique en < 200ms, s'il y a une panne.

Continuons sur notre réseau.

Toujours sur Montréal / New York, on discute
une 3ème route avec un autre opérateur qui
a de la fibre entre la frontière canadienne
et Albany,NY + un autre opérateur qui a la
fibre entre Albany,NY et New York,NY. Un
3ème choix donc. Sachant qu'il nous faut
que 2 pour assurer le SLA de 100%, on est
largement bon

De l'autre côté de Montréal, vers Toronto,
c'est un peu plus compliqué, même si nous
avons plusieurs discussions en cours. En
effet, la loi exige que pour être un
opérateur au Canada il faut que l'opérateur
soit détenu à 80% par les canadiens
résidants au Canada. Il y a donc 4-5 gros
opérateurs, peu de concurrence et donc
peu d'investissement nouveau. Les derniers
datent de 1999-2001. Depuis les opérateurs
exploitent les fibres qui sont en place
et les gardent pour eux.

Mais on arrive quand même à établir les
discutions et avancer notre projet. D'abord
sur une fibre optique entre Montréal et
Toronto via Ottawa avec un opérateur qui veut
bien nous la proposer. On n'a pas encore de
timing car ce n'est pas Toronto qui nous
intéresse mais Chicago,IL.

Entre Toronto et Chicago,IL il y a 2 routes:
- via Buffalo,NJ
- via Detroit,MI
Et c'est là que tout se complique beaucoup.
Sur la route entre Toronto et Detroit,MI
ainsi que Detroit,MI et Chicago,IL nous
avons 3 opérateurs qui ont de la fibre
et c'est la même chose entre Buffalo,NJ
et Chicago,IL. Mais les discussions sont
complexes. Et c'est la même chose sur la
route est Toronto Buffalo,NJ. Pourquoi ?

Car on arrive sur les routes entre les 3
bourses: New York, Toronto, Chicago. Ces
routes qui sont très courtes et directes,
donc "low latency" et donc utilisées pour
le HFT (High-Frequency Trading) qui font
du trading à haute vitesse. Des serveurs
qui passent les ordres sur les bourses
pour spéculer sur les ordres que les
autre ont passé. Le but est de calculer
les ordres et les passer avant les autres
et profiter de difference courts de la
bourses pour gagner de l'argent. Il y a
des entreprises sont prêtes à payer de M$
pour gagner quelques ns (oui ns, pas ms)
et passer les ordres sur les bourses avant
leurs concurrents pour spéculer à la
bourse. Et donc là c'est très complexe de
négocier de la fibre noire sur ces routes
car c'est très cher et les opérateurs en
place ne veulent absolument pas des
nouveaux concurrents (pour continuer à
gagner de l'argent). Donc, s'il y a des
problèmes c'est surtout entre Toronto et
les USA.

C'est pourquoi nous discutons avec plusieurs
opérateurs sur la co-construction d'un
nouveau réseau entre Montréal et Toronto via
A20, au lieu de passer par Ottawa. Même si
c'est un projet sur 2 ans c'est très
intéressant car le réseau en question sera
plus court et donc plus rapide. Et aussi
redondant avec celui par Ottawa. Il nous
sera possible de faire des swaps aussi.

Et après New York et Chicago ?

Une fois que nous sommes à New York,NY et
Chicago,IL ça sera un peu plus simple de
négocier de la fibre. Même si les opérateurs
se rachètent et assèchent le marché de la
fibre noire (en forçant à proposer de services
managed) il existe toujours des opérateurs
dont la fibre noire est le business principal,
voir unique. On a donc la fibre entre New York,NY
et Ashburn,VA et Chicago,IL. On aura aussi la
fibre entre Ashburn,VA - Atlanta,GA -
Miami,FL. Pourquoi Miami ? Miami est un point
très important car tous les opérateurs de
L'Amérique du Sud arrivent à Miami (Brésil,
Argentine etc) et cherchent à peerer et
échanger le trafic.

Pourquoi de la fibre à Miami ? Avec 100G
cohérent il est possible de pousser le
signal optique sur 3500km sans le régénérer.
La technologie actuelle sur 10G (que
nous utilisons en Europe) permet de faire
700km maximum. Ce qu'on veut donc c'est de
générer le signal à Montréal et le pousser
jusqu'à Miami sans le régénérer. Et donc
sans coûts inutiles et en basse latence.
Une vraie innovation dans le monde de telecom
surtout aux USA où les distances de côté à
coté sont de 7500km (la distance de la fibre
optique). Régénérer le signal optique avec
10G tous les 700km, soit 10x contre régénérer
le signal optique de 100G tous les 3500km
soit 2x, c'est 10x plus de bande passante
5x moins cher. L'impact sur le prix de
la bande passante entre Montréal et
Los Angeles est direct: 50x moins cher.
Soit avoir pour le même prix 50x plus de
bande passante. Très intéressant.

Et notre réseau dans tout ça ?

Sur la côté Ouest, les POPs que nous voulons
atteindre avec de grosses capacités de
bande passante sont Los Angeles,CA et
Palo Alto,CA. Sur ces 2 POPs il y a tous
les opérateurs Asiatiques (Japon, Chine,
Singapour) et Australie. On va pouvoir
y aller en fibre lorsque le POP de Chicago,IL
va être connectés en direct de BHS. Et en
attendant ça sera avec de 10G.

Sinon ?

Sinon, nous avons plusieurs dizaines de
propositions pour les 10G sur différents
routes. De propositions de 10G standard
comme les propositions où on nous construit
le réseau managed. Ça coûte un bras mais
ça existe et c'est une carte dans le jeu
qui est intéressante à avoir.

Au finale, le réseau qu'on veut avoir
aux USA est le suivant:
http://yfrog.com/z/h0l8uahj

Rien que ça

Voilà. Faire le réseau n'a jamais été
simple. Si c'était simple, tout le monde
le ferait. Si c'était simple, on n'aurait
aucune valeur ajoutée. S'il n'y avait pas
de défis à faire ce projet, on ne l'aurait
pas fait. Bref, on cherchait la difficulté
et le challenge, on peut dire qu'on l'a
trouvé

Vu l'état de discussions en 6 mois et vu
que chaque semaine apporte maintenant son
flux de (bonnes) nouvelles, on sait qu'on
va arriver à garantir à nos clients de
grosses capacités de bande passante, de
la redondance donc de SLA 100% et de
faibles latences.

Amicalement
Octave