Doremi-Server erkennt nicht alle DCPs auf einem USB-Stick

[LaserHotline]

Folgendes Problem wurde mir von einem Kinobetreiber gemeldet: es wurden 10 DCPs auf einen USB-Stick kopiert, jedes DCP in einen separaten Unterordner. Bietet man diesen USB-Stick jetzt dem Doremi-Server an, werden von den 10 DCPs nur zwei gefunden.

 

Abhilfe: jedes DCP einzeln auf den USB-Stick kopieren und direkt in den Server laden - klappt.

 

Hat jemand eine Idee woran das liegen könnte?

[carstenk]

Kann mir nur nen Kopierfehler vorstellen. Bei halbwegs aktueller Software auf dem Doremi und komplett getrennten DCP Verzeichnissen und insofern wirklich vollständigen Einzel-DCPs sollte es dieses Problem nicht geben. Um mehr zu sagen müsste man mit so nem Stick mal bißchen rumspielen, Verzeichnistiefen, Namenslängen, Umlaute, etc. pp.

 

Essentiell kann sein, dass bei mehreren unabhängigen DCPs in Unterverzeichnissen im root directory selbst kein DCP bzw. keine ASSETMAP liegen darf. Es muss dann also wirklich jedes DCP in einem eigenen Verzeichnis liegen.

 

- Carsten

[Vogel]

Leerzeichen mag der Doremi auch nicht (zumindest früher, wie sich das heute verhält? -> lange nicht ausprobiert...)

[LaserHotline]

Du meinst Leerzeichen innerhalb des Ordnernamens? 

[LocaJohnny]

Kopier mal nur 7 oder 8 Filme auf den USB Stick;) Eigenart von Linux, ab einer gewissen Anzahl von Ordnern nicht mehr klar zu kommen.

[KN17-Fan]

Bei mir hilft in dem Fall , die Ordner einfach auf dem Rechner auf und wieder zuzumachen . Dann erkennt der Doremi diese auch ..... Frag nicht warum , is abe so 

 

 

[Vogel]

Am 23.11.2017 um 19:03 schrieb LaserHotline:

Du meinst Leerzeichen innerhalb des Ordnernamens? 

 

Ja!

[Fabian]

Am 23.11.2017 um 19:36 schrieb LocaJohnny:

Kopier mal nur 7 oder 8 Filme auf den USB Stick;) Eigenart von Linux, ab einer gewissen Anzahl von Ordnern nicht mehr klar zu kommen.

Von Linux ganz bestimmt nicht.

[ChrisL2001]

Hallo an alle,

 

ist dieses Problem gelöst worden? Ich organisiere gerade ein Kurzfilmfestival mit etwa 70 Filmen, deren DCPs alle nach den verschiedenen Programmen in Unterordnern sortiert waren und auf einer 2 TB USB 3.0 HDD NTFS formatiertlagen. Beim Versuch diese über USB an verschiedenen DOREMI Servern einzuspielen, tauchten jedoch nur etwa 15 DCPs im Ingesttool auf. Nachdem ich alle DCPs aus den Unterordnern ins Grundverzeichnis der HDD verschoben hatte tauchten mehr auf, aber immer noch nicht alle. Die Fehlenden mussten wir dann auf den Zentralserver spielen und von dort aus ingesten - also waren alle DCP Kopien in Ordnung, aber sie wurden nicht alle via USB erkannt.

 

Auch bei einer kleineren Lieferung von 2 Programmen mit etwa 20 Filmen fehlten 3 DCPs, die nur über erneutes Kopieren, in diesem Falle auf einen USB Stick, dann am Server auftauchten. Ich kann leider keine Sonderzeichen ausmachen, die hier den Server stören könnten, auch verschiedene Festplatten habe ich getestet.

 

Woran kann das liegen? Im nächsten Jahr werde ich ein Festival auf DCP umstellen, das um die 500 Kurzfilme in 48 Programmen zeigt, da wäre es gut, das Problem durchschaut zu haben. Hat jemand dazu noch eine Idee? Ich wäre sehr dankbar.

[carstenk]

Ist 'relativ' unüblich, über lokalen Ingest soviele DCPs auf einem Medium zu haben, daher fällt das vermutlich nur wenigen auf. In Amiland ist es üblich, dass große Trailersammlungen auf Festplatten an die Kino gehen. Die haben die Eigenart, dass alle Trailer in einem einzigen DCP als einzelne CPLs enthalten sind (so wie man es als OV/VF Kombinationen häufiger hat).

Ich habe mich immer gefragt, warum die das so machen. Diese Ingestmacke bei den sehr verbreiteten Doremis könnte der Grund sein.

 

Schuss ins Blaue - hast Du das gleiche mal über eine CRU Festplatte über SATA probiert? Möglicherweise habt Ihr aber auch Doremi IMS ohne CRU Einschub im Einsatz?

 

Möglicherweise ist ein kleines portables NAS der sichere Weg. Frag mich nicht, wieso der Doremi das über FTP besser macht als über ein lokal angebundenes Medium...Müssen muss er, sonst wäre er in TMS Umgebungen unbrauchbar.

Allerdings wird er bei 500 DCPs im Ingestpfad mit Sicherheit auch über FTP ne Weile kauen. Unser Sony zeigt DCPs im Ingestmanager nur verzeichnisbasiert an. Der sieht 2000 andere DCPs auf dem Medium zu diesem Zeitpunkt garnicht, nur die auf der aktuellen Ordnerebene. Meistens praktischer.

Unser Barco durchsucht auch den Ingestpfad komplett auf alle verfügbaren DCPs. Immerhin kann man dem aber sagen, wie tief er dabei gucken soll (sonst dauert das auch schonmal ewig mit dem Scan).

 

- Carsten

Bearbeitet 22. November 2018 von carstenk (Änderungen anzeigen)

[LaserHotline]

vor 5 Stunden schrieb ChrisL2001:

Hallo an alle,

 

ist dieses Problem gelöst worden? Ich organisiere gerade ein Kurzfilmfestival mit etwa 70 Filmen, deren DCPs alle nach den verschiedenen Programmen in Unterordnern sortiert waren und auf einer 2 TB USB 3.0 HDD NTFS formatiertlagen. Beim Versuch diese über USB an verschiedenen DOREMI Servern einzuspielen, tauchten jedoch nur etwa 15 DCPs im Ingesttool auf. Nachdem ich alle DCPs aus den Unterordnern ins Grundverzeichnis der HDD verschoben hatte tauchten mehr auf, aber immer noch nicht alle. Die Fehlenden mussten wir dann auf den Zentralserver spielen und von dort aus ingesten - also waren alle DCP Kopien in Ordnung, aber sie wurden nicht alle via USB erkannt.

 

Auch bei einer kleineren Lieferung von 2 Programmen mit etwa 20 Filmen fehlten 3 DCPs, die nur über erneutes Kopieren, in diesem Falle auf einen USB Stick, dann am Server auftauchten. Ich kann leider keine Sonderzeichen ausmachen, die hier den Server stören könnten, auch verschiedene Festplatten habe ich getestet.

 

Woran kann das liegen? Im nächsten Jahr werde ich ein Festival auf DCP umstellen, das um die 500 Kurzfilme in 48 Programmen zeigt, da wäre es gut, das Problem durchschaut zu haben. Hat jemand dazu noch eine Idee? Ich wäre sehr dankbar.

 

Das Problem hier waren Leerzeichen und Umlaute in den Dateinamen. Die mochte das System tatsächlich nicht. Alles abgeändert und voila - funzt.

[carstenk]

Bei Dir waren es aber auch nur ne Handvoll DCPs.

 

Umlaute? Tss, tss... ?

 

@ChrisL2001

 

In Unterordnern könnte auch eine Längenüberschreitung der kombinierten Pfadnamen das Problem verursachen. Die Dateien innerhalb des lokalen Dateisystems werden vom Linuxsystem innerhalb der Scans über die absolute Länge des Dateinamens incl. übergeordneter Ordner adressiert:

/dev/sdh1/<ordner1>/<ordner2>/aaaa_bbbb_cccc_dddd_....pkl

 

Wenn einige Dateien innerhalb eines DCPs ungewöhnlich lange Namen haben, kann das innerhalb mehrerer verschachtelter Unterordnet ggfs. schon reichen. Dagegen kann man bei von extern eingereichten DCPs ohne fehlerträchtige Bastelei wenig machen, ausser eben die Namen der Ordner zu verkürzen oder sie ganz weg zu lassen. Ist das eine NTFS, oder ext2/3 Platte? Je nachdem, welcher Dateisystemtreiber aktiv ist, wäre es auch möglich, dass bestimmte andere Sonderzeichen einen Abbruch der Dateinamenverfolgung bewirken. Es könnte sich lohnen, da mal ein paar Tests zu machen. Die neueren Doremi 2.8.x Versionen verwenden auch einen moderneren Linux-Kernel, möglicherweise macht auch das einen Unterschied.

 

 

FTP dagegen adressiert Dateinamen nur bezogen auf den aktuell geöffneten bzw. eingelesenen Pfad.

 

 

 

- Carsten

Bearbeitet 22. November 2018 von carstenk (Änderungen anzeigen)

[Jensg]

Und gibt es nicht auch noch die Obergrenze von max. 500DCP's. Ich hab da noch schemenhaft was im Kopf. Zu mindestens bei Sony, da gehen wohl nur max. 500DCP's im Serververzeichnis

Jens

[carstenk]

Das ist aber ne Sony Spezialität und betrifft nur das Limit für bereits eingespielte DCPs auf dem Server selbst, nicht auf Ingestmedien.

 

- Carsten

[ChrisL2001]

Vielen Dank fürs Gedanken machen. Ja, vermutlich ist ein NAS die bessere Variante. Darüber kann man dann die einzelnen Programm Folder ja am Doremi vermutlich über den Content Feed Manager am Doremi einrichten, damit es schneller und übersichtlicher wird. 

 

Ich denke, dass ich eigentlich die Sonderzeichen Problematik durch verschiedenes verschieben der DCPs ausgeschlossen habe. Letztlich hatte ich ja alle DCPs im Grundverzeichnis und sie tauchten teils nur durch das Kopieren auf ein anderes Medium dann am Server auf.

 

Ich habe es bisher nur über USB mit NTFS Formatierung versucht, da ich keine CRU Platte habe. Das wäre auch mein nächster  Schritt gewesen, vielleicht hat ja eine der Spielstätten, die wir gerade noch bespielen eine Cru zum Testen. 

 

Danke schonmal!

[carstenk]

Ja, separate Ingestquellen für verschiedene Programme sind vermutlich Overkill, aber möglich wäre es.

 

Es wäre natürlich möglich, dass in einigen der DCPs einzelne Dateien zu lang oder mit 'schwierigen' Sonderzeichen angelegt wurden. Je nachdem woher die DCPs kommen, kann sowas passieren. Da müsste man individuell nachforschen.

 

CRU kann NTFS oder ext2/3, aber, im Festivalbetrieb mag es sein, dass Ihr mit NTFS besser fahrt, kommt drauf an, was ihr für Systeme zum Verwalten der Einreichungen habt. Grundsätzlich ist gegen NTFS nichts einzuwenden, aber, es ist ein Linux-fremdes Dateisystem und kann in extremen Konstellationen Probleme machen und das Ingestverhalten bei so vielen DCPs kann theoretisch zwischen ext2/3 und NTFS unterschiedlich sein.

 

Ein einfaches single-drive NAS Gehäuse ist sicher kein Fehler. Wenn das Ding hin- und her transportiert wird, mag auch ein bezahlbares Gerät mit 2 Platten und Spiegelbetrieb aus Sicherheitsgründen sinnvoll sein.

 

Bleibt sicherheitshalber mit den Platten bei max 2TB. Drüber kann es je nach Server, Softwarestand und Interface zu Problemen kommen. Bei der Platte im NAS ist das zwar erstmal egal - aber wer weiss, ob man diese Platte nicht dochmal rausbauen muss, um sie direkt an den Server anzuschließen, oder optional über ein USB-Interface. Alles über 2TB ist da kritisch.

 

 

- Carsten

Bearbeitet 23. November 2018 von carstenk (Änderungen anzeigen)