Langsames einlesen der dateien zum ingesten von Netzwerkserver

[Michel]

Hallo,

wir haben uns mal die Mühe gemacht uns einen eigenen Datenserver zu bauen auf dem wir unsere Sicherungskopien lagern und vom dem die DCP's auf unsere Doremis verteilt werden.

Im großen und ganzen klappt das auch prima (wir haben eine durchschnittlichen Datenübertragungsrate von ca.80Mbits/s) aber das Einlesen vom Doremi auf den Server dauert ewig (ca.20min bei 45 Dateien). Ich verstehe nicht warum das so langsam geht - von Doremi zu Doremi ist das bei über 300 Dateien eine sache von unter 15s, ebenso beim Zugriff auf unseren Smartjog. kann es vielleicht sein das evt. Doremi und SJ eine spezielle Datei anlegen die dieses Einlesen beschleunigen? - Andernseits muss ich sagen wenn ich eine 2TB HDD direkt anschließe geht das einlesen eigentlich auch Ruck-Zuck.

Hier noch ein Paar Eckdaten des Systems 5x1TB HDD, 2GB Ram, Gigabit Ethernet, Zwei Partitonen: System mit Raid 1, Daten mit Raid 5, OS: Linux Debian.

 

Viele Grüße

 

Micha

[carstenk]

Versteht jemand, was mit 'Einlesen vom Doremi auf den Server dauert ewig (ca.20min bei 45 Dateien' gemeint ist? An welcher Stelle soll da die Anzahl der Dateien ins Spiel kommen, bzw. welche Art von Transfer da gemeint ist?

 

TMS/Doremi-Doremi Ingests sind immer schneller, weil dabei kein Verify erfolgt.

 

- Carsten

[tomas katz]

Indexerstellung?

[Billett]

Wenn man beim Doremi die Ingest-Quelle öffnet kann man neben dem Local Storage ja auch andere Quellen (z.B. andere Server) auswählen. Hat man hier etwas ausgewählt, listet der Doremi zunächst alle Files (Trailer, Filme etc.) auf. Und das Einlesen dieser "Directory" geht in der Regel recht schnell nur im Fall von @Michels Datenserver sehr langsam - wenn ich ihn jetzt richtig verstanden habe. Das Problem kann ich nachvollziehen, denn bei uns ist es ähnlich. Wir haben einen Zentralserver von Ymagis, auf dem sämtliche DCPs (Trailer, Film Ads) liegen. Wähle ich als Contentquelle diese Library aus, dauert es lang, bis mir der Doremi die Files auflistet. Der eigentliche Ingest geht dann wieder recht flott, ähnlich dem Ingest von einer CRU-Platte.

[Michel]

Wenn du den Ingest Manager startest und dann dein Verbindungsziel anwählst, zb. Kino5, oder NAS öffnet sich doch ein Fenster in welchem angezeigt werden wieviele Schlüssel, DCP's usw sich dort befinden. Dies meine ich mit einlesen.

[Vogel]

Hängt wohl mit der Validierung zusammen, Doremi prüft, ob das DCP komplett ist.

Korrupte Files werden erst garnicht zum Ingest angeboten. Bei anderen Doremis als Quelle sind die DCPs ja schon geprüft (und die Prüfung geloggt), von daher ist nicht die Lib langsam sondern der Doremi schnell...

[macplanet]

Hallo,

wir haben uns mal die Mühe gemacht uns einen eigenen Datenserver zu bauen auf dem wir unsere Sicherungskopien lagern und vom dem die DCP's auf unsere Doremis verteilt werden.

Im großen und ganzen klappt das auch prima (wir haben eine durchschnittlichen Datenübertragungsrate von ca.80Mbits/s) aber das Einlesen vom Doremi auf den Server dauert ewig (ca.20min bei 45 Dateien).

 

Dass das Auflisten vom NAS länger dauert, kann ich bestätigen, aber so lange dauerts bei uns dann auch wieder nicht.

Aber brauchst Du wirklich alle Dateien immer im sofortigen Zugriff? Schieb doch alles, was nicht mehr akut benötigt wird, in einen anderen Ordner auf dem NAS (per FTP, über die Benutzeroberrfläche des NAS oder von einem PC im Netz).

Dann wird's auch übersichtlicher.

 

Schöne Grüße, Matthias

[Michel]

Dass das Auflisten vom NAS länger dauert, kann ich bestätigen, aber so lange dauerts bei uns dann auch wieder nicht.

Aber brauchst Du wirklich alle Dateien immer im sofortigen Zugriff? Schieb doch alles, was nicht mehr akut benötigt wird, in einen anderen Ordner auf dem NAS (per FTP, über die Benutzeroberrfläche des NAS oder von einem PC im Netz).

Dann wird's auch übersichtlicher.

 

Schöne Grüße, Matthias

 

Hallo Mathias,

 

das haben wir schon von vornherein gemacht; wir haben seperate Zugriffsordner für die Gesicherten Filme, aktuelle Filmtrailer, sowie für die (über)regionalen Werbung.

Die andere Lösung wäre die DCP's direkt vom Nas/Datenserver auf den Doremi zu kopieren. Hier ist allerdings das Problem, daß, wenn man nicht alle Versionen benötigt einen Haufen Versionen auf dem Doremi liegen hat die man nicht benötigt (zb. man man einen Film nur in 2D zeigt und in 5.1. Schließlich ist der Speicherplatz auf den Doremis begrenzt.

 

Gruß Micha

[macplanet]

das haben wir schon von vornherein gemacht; wir haben seperate Zugriffsordner für die Gesicherten Filme, aktuelle Filmtrailer, sowie für die (über)regionalen Werbung.

Die andere Lösung wäre die DCP's direkt vom Nas/Datenserver auf den Doremi zu kopieren. Hier ist allerdings das Problem, daß, wenn man nicht alle Versionen benötigt einen Haufen Versionen auf dem Doremi liegen hat die man nicht benötigt (zb. man man einen Film nur in 2D zeigt und in 5.1. Schließlich ist der Speicherplatz auf den Doremis begrenzt.

 

Jetzt blick ich icht mehr ganz durch: Du ingestest doch vom NAS, oder?

Dann kannst Du doch auch einfach nur die Versionen ingesten, die Du benötigst.

Oder willst Du die Filme per FTP auf den Doremi schieben? Das dürfte nicht funktionieren.

 

Ich habs gerade mal bei uns ausprobiert (mit einem großen Synology NAS): Das Einlesen des Features-Ordners mit ca. 20 DCPs (aus denen sich dann 50 oder 60 CPLs ergeben) dauert zwar deutlich länger als von Doremi zu Doremi, aber viel weniger als 20 Minuten -- maximal 2 oder 3 Minuten. Und 20 DCPs brauche ich ohnehin nicht im Zugriff, wenn ich das auf die Filme beschränke, die aktuell laufen, und die anderen ins Archiv verschiebe, gehts noch deutlich schneller.

Du benötigst doch vermutlich auch nicht 40 Filme immer im Zugriff, oder?

 

Schöne Grüße,

Matthias

[ChrisL]

Schaltet mal die Firewalls von euren NAS'en aus. Die werden vermutlich die Anzahl der gleichzeitigen Verbindungen auf den FTP Server beschränken, bzw. es sollte wohl eine DDoS Überprüfung stattfinden.

 

Bei uns liegen auf dem Server samt Werbung, Filme, Trailer usw, über 400 Dateien zum Ingesten und der Ingestmanager braucht nur ca. 30s um alles aufzulisten.

 

Alternativ kannst du auch von der NAS aus, den Film direkt in das Ingest Verzeichnis des Doremis schieben. Funktioniert bei uns ebenfalls tadellos und geht auch sehr flott.

 

Gruß

Chris

[Sascha Peter]

Wir haben einen Zentralserver von Ymagis, auf dem sämtliche DCPs (Trailer, Film Ads) liegen. Wähle ich als Contentquelle diese Library aus, dauert es lang, bis mir der Doremi die Files auflistet. Der eigentliche Ingest geht dann wieder recht flott, ähnlich dem Ingest von einer CRU-Platte.

 

Hallo,

 

das Scannen aller Inhalte der Ymagis Library kann tatsächlich recht lang werden, wenn man dort viele DCP und KDM aufbewahrt.

Unser Support kann gern die verschiedenen Unterordner als separate Ingest-Quellen auf den Doremis anlegen, so dass Sie gezielt nur FTR, ADV, KDM, usw. scannen und so Zeit sparen können.

 

Viele Grüße,

Sascha

Bearbeitet 14. Januar 2014 von Sascha Peter (Änderungen anzeigen)