Doremi Festplatte kaputt, aber welche?

[frank 7]

Salut,

wie kriegt man denn raus, welche der verbauten doremi-Festplatten eventuell kaputt ist?

Linux Befehle im Terminal?

Schankedön für jeden Tip,

Frank

 

[carstenk]

Diagnostic Tool:

 

So sieht das beim DCP2000, 2K4 und ShowVault aus. In den Webinterfaces der Dolby/Doremi IMS anders dargestellt, aber analog nachvollziehbar.

 

 

 

 

- Carsten

Bearbeitet 27. Juli 2018 von carstenk (Änderungen anzeigen)

[frank 7]

Hi Carsten,

entschuldige bitte, mir ist deine Antwort durch die Lappen gegangen.

Die Diagnostik-Tool-Geschichte kenne ich, aber das hat mir damals nicht geholfen. Alle drei Festplatten waren auf grün. Der support meinte, es könnte am content selber liegen oder an der Speicher-Auslastung (90 Prozent), aber das Problem blieb nach Löschung ettlicher DCPs bestehen (Bild friert ein ...) Der Grund: der Caching Balken im Diagn. tool unter storage wanderte komplett nach links und fing sich dann wieder ... Der etwas fähigere supportler am nächsten Tag öffnete ein Linux Terminal und gab da einen Haufen Sachen ein - um nach kurzer Zeit zu checken, dass die mittlere Festplatte zwar funktioniert (grün) aber einen Riesenhaufen Fehler produziert. Er "freak-te" irgendwas rum und meinte dann, ich könne die mittlere Festplatte jetzt rausnehmen und normal weiterspielen, da zwei Festplatten ausreichen würden ... Und genau so war es.

Nur was hat der Großmeister da veranstaltet ?

Wir werden es wohl nie erfahren ...

Schöne Grüße und vielen Dank,

sagt der Frank

[BinKino]

Der hat dir die Platte ausgebunden "unmount" ... solltest neue Platte einbauen und das Raid neu aufbauen lassen (am besten in Ruhe über Nacht) - oder falls noch mit 1TB spielst gleich alle auf 2TB upgraten.

Die WDC WD2003FYYS haben wir seit Jahren ohne Ausfall in allen 5 Doremis.

Mit nur 2 Platten spielen geht, aber dann darf dir da auch nichts mehr in die Quere kommen.  Kein Huster oder Nieser einer der Platten oder ein parallel laufender Ingest oder Netzwerk-Übertragung in andere Doremi

 

[carstenk]

Wenn das Diagnostik Tool alle drei Platten grün anzeigt inkl. der RAID Partitionen, dann ist zunächst auch keine Platte 'kaputt' ?

Dass jemand vom Support dir so die Ausfallredundanz platt macht, ist vor dem Hintergrund akuter Bildhänger zwar zumächst keine schlechte Idee, er hätte Dir aber schon deutlich machen müsse, dass es dann höchste Eile ist, eine Ersatzplatte zu besorgen.

 

Eine Platte, die unzuverlässig arbeitet, kann man mit der Performance-Analyse identifizieren, oder auch, indem man ein full log erzeugt und es dem Dolby Log Analyzer zu fressen gibt. Der spukt dann aus, wenn die Platte Ärger macht oder auch ungewöhnlich niedrige Transferraten liefert. Auch die S.M.A.R.T Daten der Platten liefern in diesem Fall sicher eindeutige Hinweise, aber die muss man lesen können. Der Log Analyzer liefert das vermutlich eindeutiger. Jedenfalls ist alles, was man für eine Analyse braucht, über die Benutzeroberfläche des Doremis erreichbar. Was sagen denn die Platten-LEDs vorne gegenwärtig, respektive, wie sieht die Anzeige des Diagnostik-Tools aus? Nach deiner Aussage müsste jetzt die sdb2 rot und als missing/offline angezeigt werden?

 

Was für Platten(größen) sind denn momentan verbaut, und welche Software läuft auf dem Doremi? Vermutlich wäre es sinnvoll, den Doremi komplett auf neue/größere Platten umzubauen.

 

- Carsten

 

 

Bearbeitet 19. August 2018 von carstenk (Änderungen anzeigen)

[frank 7]

Wir haben damals natürlich am nächsten Tag eine neue Platte eingesetzt, es hat mich nur gewurmt, dass wir die show damals abbrechen mussten (trotz support) und selbiger support am nächsten Tag ein Terminal aufmacht, dort sieht, dass Festplatte B Tausende Fehler erzeugt und dann sagt ich solle die Festplatte einfach rausnehmen und weiterspielen.

Ich habe mal einen detailed report erstellt, aber darin habe ich mich nicht zurechtgefunden ...

Carsten, kannst du mir sagen, wie man eine performance Analyse macht oder Ähnliches? Ich weiß, daß der Mann vom support keine 2 Minuten gebraucht hat, um zu erkennen, daß Festplatte B lauter Fehler produziert ...

Danach müsste ich dann nur noch wissen, ob ich die Festplatte dann nach dem runterfahren einfach rausnehmen kann oder ob ich sie, wie du, BinKino, sagst, irgendwie entmounten muss.

Danke für eure Hilfe!

[carstenk]

Das Problem ist, unter Zeitdruck die richtige Entscheidung zu treffen. Im Grunde liegt der Fehler bei der Doremi Software, die eine zu langsam reagierende Einzelplatte nicht automatisch aus dem RAID Verbund entfernt, denn das ist eine durchaus sinnvolle Entscheidung, der Doremi kann einigermaßen sicher feststellen, wenn Fehler im RAID zu stockender Wiedergabe führen (Buffer underruns).

Im konkreten Falle HÄTTE man die Platte einfach, sogar während des laufenden Betriebs, einfach aus dem Slot nehmen können. Nur - damit man sich das traut und als zielführende Maßnahme erkennt, muss man halt auch einigermaßen sicher sein, dass hier genau das Problem liegt. Denn sonderlich verbreitet ist genau so ein Verhalten auch nicht. Ich kenne auch die konkreten Schwellenwerte nicht, ab denen der Doremi eine Platte automatisch aus dem RAID wirft. Ich kenne ähnliche Vorkommnisse von den Dolby DSS Servern, da wurden aber die problematischen Platten an den Front-LEDs signalisiert, und auf den Tip hin, diese Platte erstmal rauszunehmen war das Problem beseitigt und es konnte erstmal weiter gespielt werden.

Man kann aber halt leider nicht im Umkehrschluss sagen, dass das Entnehmen einer einzelnen Platte jedes Wiedergabe Problem löst. Die Readmes der Doremi Softwareupgrades der letzten Jahre zeigen aber, dass Doremi/Dolby immer wieder an der Analyse der S.M.A.R.T Parameter der Platten gearbeitet hat.

 

Kannst Du dich erinnern, ob damals beim ersten Auftreten die Platten -LEDs irgendwie auffällig waren? Ein erfahrener Vorführer, der z.B. in einem Multiplex ein Dutzend Doremis betreut, wird nach der Meldung von Bildrucklern in einem Saal vielleicht nach einem Blick auf die Laufwerks-LEDs beherzt kurzerhand eine rot signalisierte Platte raus nehmen (man kann auch im Diagnostic Tool eine solche Platte per Software deaktivieren, was die bessere Methode ist, da die Serversoftware so 'weiss', dass die Platte absichtlich entfernt wird)

Aber es ist nicht gesagt, dass bei so einem Problem die LED rot ist, und woher soll er dann wissen, welche Platte raus genommen werden soll? In der Regel wird er erstmal die Vorstellung abbrechen und ggfs. nach einem Neustart des Servers einen zweiten Versuch machen. Je nach Umständen ist das Problem dann weg, oder der Server kommt schon mit einer fehlenden/rot signalisierten Platte wieder hoch.

 

Soviel ist sicher - eine echte Performance Analyse kann man nicht im laufenden Betrieb, also bei laufender Vorstellung machen.

 

Ich würde mich an deiner Stelle erstmal grundsätzlich mit der Erstellung eines Detailed Logs und dem Hochladen auf den Dolby Log Analyzer vertraut machen. Dazu gehört, dass man am Server jederzeit einen funktionierenden USB Stick herum liegen hat (wir haben sowas auch als Fallback für KDM Transfers immer da). Das manuelle Zerpflücken des Logs ist möglich, aber sehr zeitaufwendig. Der Online Loganalyzer von Dolby/Doremi stellt einem die wesentlichen Parameter in einer Übersicht dar.

 

Es gibt von Doremi auch ein älteres Trainingsdokument zur Analyse von RAID Fehlern, müsste ich mal raus suchen.

Du kannst im Diagnostic Tool sowohl eine Durchsatzanalyse des kompletten RAIDs durchführen, als auch eine einzelne Festplatte testen. Das wird allerdings meiner Einschätzung nach nicht immer zielführend sein, weil bestimmte Probleme eventuell auf lokal begrenzte Bereiche der Platte bzw. einzelne Dateien beschränkt sein können, die von der Analyse eventuell garnicht gelesen werden. Aber probieren sollte man es trotzdem.

Hast Du das Manual zum Diagnostic Tool? Da steht diesbezüglich einiges zu drin.

 

Dieses spezielle Problem - eine Platte, die nicht als 'kaputt' signalisiert wird, aber zu langsam ist bzw. verzögert reagiert ist der Hauptgrund, warum Doremi/Dolby nur explizite RAID/NAS spezifizierte Platten für ihre Systeme empfiehlt. Ich nehme zwar an, dass ihr solche Platten verbaut hattet, und offensichtlich können solche Probleme auch mit solchen Platten auftreten, aber bei Wald- und Wiesen-Platten für normale Desktop-PCs ist das Risko nach einiger Betriebszeit viel höher, dass die Platte bei Lesefehlern viel zu spät einen Fehler zurück meldet. Solange muss der RAID Treiber warten, und dann kommt es zu Bildrucklern. Die Platte ist bei sowas noch lange nicht kaputt, sondern nur 'angeschlagen'. In einem Desktop-Rechner kann sie noch jahrelang problemlos arbeiten, ohne dass sie großartig auffällig wird. NAS/RAID Platten melden in solchen Situationen schneller einen Fehler ('early retry termination'), so dass der RAID Treiber oder Controller die Daten aus den anderen Platten bzw. der Prüfsumme schneller wiederherstellen kann. Normale Desktop- oder Notebook Platten versuchen dagegen, ewig noch irgendwie an die fehlerhaften Daten ranzukommen, mehrere Lesevorgänge, etc. Das ist innerhalb eines RAID keine sinnvolle Strategie.

 

 

- Carsten

 

 

 

 

DiagnosticTool_UserManual_000169_v1_7.pdf

Bearbeitet 23. August 2018 von carstenk (Änderungen anzeigen)

[ChrisL]

Es muss nichtmal zwingend die Platte defekt sein!

Bei uns produzierte ein defektes SATA Kabel folgendes: 

Zitat

SMART Status

Kritisch

23.08.2018 17:10:10

k.A. / 0 umgelagerte Blöcke, 842 UDMA Fehler (842 insgesamt) / 3 umgelagerte Blöcke, 0 UDMA Fehler (0 insgesamt) / 0 umgelagerte Blöcke, 0 UDMA Fehler (0 insgesamt) / 0 umgelagerte Blöcke, 0 UDMA Fehler (0 insgesamt)

 

Nach dem Tausch des Kabels vor etwa 3-4 Jahren ist der Wert nicht mal mehr um 1 gestiegen.

 

Vor dem Update auf 2.8.18-0 hatten wir unter dem Menüpunkt Storage somit auch einen orangen Punkt mit dem Hinweis auf eine defekte Platte, nun ist alles weg und der Doremi rennt und rennt und rennt.

____

Auf keinen Fall würde ich aber eine HDD auf Halde legen und bei Bedarf einbauen, lieber just in time bestellen und am nächsten oder übernächsten Tag einbauen.

Ist alles kein Hexenwerk und von jedem der schon mal einen PC aufgeschraubt hat auch handlebar.

[carstenk]

Ja, die problematischen internen SATA Kabel waren mal ein verbreitetes Problem. Die ließen sich aber wohl auch auch sehr zielgerichtet über die CRC/UDMA Fehler diagnostizieren, dazu gabs Support-Dokumente von Doremi.

 

- Carsten

[macplanet]

vor 45 Minuten schrieb ChrisL:

Auf keinen Fall würde ich aber eine HDD auf Halde legen und bei Bedarf einbauen, lieber just in time bestellen und am nächsten oder übernächsten Tag einbauen.

Ist alles kein Hexenwerk und von jedem der schon mal einen PC aufgeschraubt hat auch handlebar.

 

Warum das? Wie stellst Du sicher, dass Du eine Platte vom gewünschten Typ kurzfristig beschaffen kannst? Das dürfte bei den alten 1TB-Platten (die in vielen Kinos vermutlich noch laufen) schon heute schwer sein.

[ChrisL]

Wenn eine der 1TB Platten das zeitliche segnet, kommt bei uns mindestens eine 2TB Platte zum Einsatz. Empfindlich sind die Doremis bei sowas eh nicht, einfach eine WD Red Pro/Gold kaufen und einbauen. Diese Platten sind in hunderten Webshops erhältlich.

Wichtig ist erstmal nur die Datensicherheit wieder herzustellen.

 

Danach kann man immer noch 2 oder 3 weitere Platten desselben Typs kaufen und das Raid komplett neu erstellen und die Daten wieder aufspielen.

 

In einem Doremi haben wir noch 3 alte Hitachi's am laufen, da wurde der 4. Schacht mit einer WD belegt und das läuft ebenfalls. Es ist nur ein Software-Raid :)

Auf keinen Fall Desktop Platten verwenden, die versuchen zu lange den fehlerhaften Sektor zu reparieren, bevor sie das melden und senden in der Zeit keine Daten.

Bearbeitet 23. August 2018 von ChrisL (Änderungen anzeigen)

[frank 7]

Alles klar, danke für die Tips! Carsten: Ist der Detailed report im Diagnostic tool dasselbe wie der detailed log den du meinst? Ich weiß noch, daß man den nur auf einen USB Stick sichtbar machen konnte ...

[carstenk]

Ja. Auf einen USB Stick erstellen lassen. Dann, so komprimiert wie er ist dem Online Dolby Loganalyzer zu fressen geben. Der findet auch Dinge, die weiter zurück liegen.

 

- Carsten

Bearbeitet 28. August 2018 von carstenk (Änderungen anzeigen)

[frank 7]

Vielen Dank!

[zelluloid8]

Hallo Frank,

 

Unter Linux gibt es einige Tools, um die Festplatte(n) zu analysieren. Das sicherste ist immer ein Terminal zu verwenden, da bei grafischen Oberflächen oft interne Probleme auftauchen können.

https://wiki.ubuntuusers.de/Festplatten_Problembehebung/

 

Eingebundene Festplatten Partionen im Terminal anzeigen:
blkid ( https://wiki.ubuntuusers.de/blkid/), zeigt auch das Dateisytem an (ext2, ext3, ext4, reiserFS, usw).

 

Für das ext... System gibt es z.B. "fsck...". ACHTUNG: niemals auf eingemountete Platten anwenden, also die zu prüfende Platte vorher mit dem "umount" Befehl trennen !!!!!!!!!
https://wiki.ubuntuusers.de/Dateisystemcheck/#Manuelle-Pruefung

 

Sicherheitshalber sollte man vorher die komplette Festplatte SICHERN!

Das kann man mit dem Befehl: "dd ..." machen.
nochmal ACHTUNG: vorher die zu sichernde Platte vom System trennen: "umount /......", damit keinerlei ungewollte Schreibzugriffe stattfinden!!!
( https://wiki.ubuntuusers.de/dd/)

 

Habe hier nur einige oberflächliche Möglichkeiten erwähnt, daher bitte vorher alle Link Texte gründlich lesen!!!!!!!!!!

 

p.s solch ein Check kann je nach Plattengröße extrem lange dauern!!!! Platte evt. vorher ausbauen (ist ja schon geschehen) und an anderen PC / Laptop anschließen und mit Knoppix LiveCD starten;-)

 

Gruß Thomas

Bearbeitet 2. September 2018 von zelluloid8 (Änderungen anzeigen)