OVH Community, your new community space.

les RPS 197


oles@ovh.net
08.05.08, 23:24
Hallo,
Wir haben ein schwerwiegendes Problem mit den RPS im 197er Netz.
Von dem Problem sind 167 RPS betroffen. Der am längsten installierte RPS wurde vor 18 Tagen installiert, der jüngste vor 10 Tagen.

Mehr Details:
http://forum.ovh.de/showthread.php?t=3731

Wir haben auf dem für diese RPS zuständigen SAN diese Nacht, heute morgen und heute nachmittag Wartungsarbeiten durchgeführt. Gegen Ende des Nachmittags ist ein Defekt aufgetreten und wir mussten vor Ort eingreifen. Die Ursache ist anscheinend ein Hardwareproblem.
Wir haben die Shelfs ausgewechselt und das SAN neugestartet. Das Dateisystem der 196er hat kein Problem, hier läuft wieder alles.
Beim 197er hingegen gibt es ein schwerwiegendes Problem: Trotz des Raid-1 mit 3 Platten gibt es auf mehreren Platten Inkonsistenzen und das Dateisystem kann nicht gemountet werden.

root@filerz3:~# zpool status -x
pool: filer197
state: FAULTED
status: The pool metadata is corrupted and the pool cannot be opened.
action: Destroy and re-create the pool from a backup source.
see: http://www.sun.com/msg/ZFS-8000-CS
scrub: none requested
config:

NAME STATE READ WRITE CKSUM
filer197 FAULTED 0 0 4 corrupted data
mirror ONLINE 0 0 0
c1t20d0 ONLINE 0 0 0
c1t21d0 ONLINE 0 0 0
c1t22d0 ONLINE 0 0 0
mirror ONLINE 0 0 2
c1t23d0 ONLINE 0 0 4
c1t24d0 ONLINE 0 0 4
c1t25d0 ONLINE 0 0 4
mirror ONLINE 0 0 2
c1t26d0 ONLINE 0 0 4
c1t27d0 ONLINE 0 0 4
c1t28d0 ONLINE 0 0 4
mirror ONLINE 0 0 0
c1t29d0 ONLINE 0 0 0
c1t30d0 ONLINE 0 0 0
c1t31d0 ONLINE 0 0 0

Die Checksummen auf dem zweiten und dritten RAID-1 stimmen nicht überein, vor allem aber stimmen die Checksummen auf 3 Platten aus 2 Raid-1-Verbünden nicht!

Wir werden auf Basis von Daten aus dem Backup vom Sonntag arbeiten, dies kann aber möglicherweise viele Stunden bis zu einigen dutzend Stunden dauern um aus den Backupdaten wieder ein Dateisystem herzustellen. (Momentan besteht das Backup aus einer Datei und ist daher binär, wir stellen die Daten mithilfe der ZFS-Kommandos zreceive/zsend wieder her)

Mit freundlichen Grüßen,
Octave