Challenge: Framescanner für < 350€ bauen

[Patrick Müller]

vor 10 Stunden schrieb F. Wachsmuth:

Ah, vielen Dank, Andreas!

 

das habe ich schon mal gesehen, ich glaube, @Patrick Müller hat sich das Ding auch mal nachbauen lassen. Spannende Sache. Ich glaube aber da gibt es fur mich wenig "abzugucken", denn das Projekt da basiert komplett auf dem Raspi. Bei mir ist steuerndes Gerät ein Arduino, der Raspi quasi nur "Digitalkamera". Aber ich gucke mit noch mal genauer an. 🙂

Am Wochenende werde ich wieder ein paar Stunden Zeit fur mein Projekt finden. Und morgen ist ja schon Freitag ❤️

Ja, den Scanner habe ich nach der Vorlage im Netz mit einem Freund gebaut. Leider gab es am Ende unüberbrückbare Probleme in der Konstruktion, weshalb das Ding nie richtig funktioniert hat. Der Erfinder im Netz war wie vom Erdboden verschwunden weshalb man ihm nicht kontaktieren konnte. Ein frustrierendes Erlebnis. Ich bin mir sicher, dass Friedemanns Ansatz zielführender sein wird. 

 

[Friedemann Wachsmuth]

Es wird!

 

Ich lerne Python, und es macht Spaß. Und ich komme voran. Ich scanne jetzt bereits alle Sekunde ein vollaufgelöstes Raw File und sie sehen hervorragend aus.

 

Was schon geht?

 

- Preview des Kamerabildes auf externem Mini-Display

- Reinzoomen in 3 Stufen um die Schärfe zu beurteilen

- Starten des Scans, alle Raws werden dann mit identischen Kameraeinstellungen gemacht

- Durchnummerieren der Files von 00001 bis 99999

- Debayering im Batch um entsprechend für jedes Bild eine DNG zu erzeugen 

- Zur Zeit erzeuge ich noch nebenher (kleine) Preview-JPGs, die von der Kamera Farb- und Helligkeitskorrigiert sind. Ob die später mal zu was nütze seind, weiss ich noch nicht, mal sehen.

 

Was noch fehlt? Einiges.

 

- Wenn möglich mehr als 1 Raw pro Sekunde scannen. Ich hab auch schon zwei pro Sekunde geschafft, aber da haben einige Einzelbilder Fehler, dem muss ich noch auf den Grund gehen.

- Automatisches Anlegen eines Projektordners für jeden Scanvorgang

- Live-Runtersyncen der Files vom Raspi auf meinen Mac (der hat mehr Platz, eine 15m Super-8-Rolle liefert knapp 80 GB Daten!)

- Bisschen UI und Bugfixing in der Steuerung 

- Fehlerbehandlung (fehlt noch komplett)

- Test & Profilierung für Farbnegativfilm

- Vieles anderes 🙂

- Export als CineDNG (zumindest einen Versuch wert)

Ich freu mich. Leider geht morgen die Arbeitswoche wieder los...

 

 

[fcr]

16 hours ago, F. Wachsmuth said:

 

- Wenn möglich mehr als 1 Raw pro Sekunde scannen. Ich hab auch schon zwei pro Sekunde geschafft, aber da haben einige Einzelbilder Fehler, dem muss ich noch auf den Grund gehen.

- Automatisches Anlegen eines Projektordners für jeden Scanvorgang

- Live-Runtersyncen der Files vom Raspi auf meinen Mac (der hat mehr Platz, eine 15m Super-8-Rolle liefert knapp 80 GB Daten!)

 

1 Raw pro Sekunde bedeutet ja, dass eine Super 8-Kamerafilmrolle in einer Stunde gescannt ist - das finde ich nicht schlecht für ein preiswertes und hochqualitatives Gerät.

Kannst Du die 80GB nicht einfach auf einen an den Rapsi angeschlossenen USB-Stick schreiben? Selbst ein Sandisk-Markenstick mit 128GB kostet heute unter 20 Euro, und den nötigen Durchsatz von 22 Megabyte/Sekunde sollte der locker schaffen. (Und selbst wenn nicht:  Linux macht ohne weiteres Zutun ein sehr gutes RAM-caching, falls ein Speichermedium nicht mit dem Schreiben hinterherkommt. Mit einem "sync"-Befehl am Ende des Scannes werden alle noch gefüllten Puffer auf das Medium ausgeschrieben.)

[Friedemann Wachsmuth]

Mon Florian,

 

I/O beim Schreiben der Bilder scheint nicht das Problem zu sein (und ich glaube, die µSD-Karte ist schneller als ein USB-Stick, aber das ist nur ne Vermutung) — ich vermute, es hat eher mit GPU-RAM zu tun. Die Kamera macht mächtig gebrauch von der GPU. Ich habe bisher noch kein Signal finden können, dass mir sagt, dass sie "wieder schussbereit" ist, daher hetze ich sie im Moment vermutlich etwas, was dann vermutlich zu diesen "Glitches" in den Dateien führt. Jetzt gerade läuft ein 550-Bilder-Scan mit doppeltem GPU-Memory, mal sehen, ob das die Fehlerrate verbessert. Wenn nicht, bleibt es halt bei 1 B/s, wie DU sagst, das ist so schlecht nicht für wirklich tolle Qualität. 

Sehr hilfreich ist, dass mein Sohn mir Programmierhilfe angeboten hat und mit eingesteigen ist... er ist trotz seiner 15 Jahre mittlerweile viel besser und schneller als ich. So mache ich die Hardware und das Konzept, und er die Software. Mal sehen, wie lange er darauf noch Lust hat... 🙂

[fcr]

18 hours ago, F. Wachsmuth said:

I/O beim Schreiben der Bilder scheint nicht das Problem zu sein (und ich glaube, die µSD-Karte ist schneller als ein USB-Stick, aber das ist nur ne Vermutung) 

 

Aber auf der MicroSD-Karte sitzt normalerweise auch das Raspi-Betriebssystem, während man einen USB-Stick nach abgeschlossenen Scan einfach rausnehmen und zur Weiterverarbeitung der Dateien in seinen PC stecken könnte.

 

Tip hierzu noch: DaVinci Resolve schluckt sowohl in der Gratis- als auch in der Studio-Version durchnummerierte DNG-Dateien als RAW-Videosequenzen, auch wenn sie nicht CinemaDNG-konform abgespeichert wurden. Außerdem lassen sich in dem Programm Timelines auf Schmalfilm-freundliche Bildwiederholraten wie 18 und 16 fps setzen. Und man hat vollen Zugriff auf alle RAW-Parameter (wie Weißabgleich und ISO) im RAW-Tab und kann ggfs. automatische Farbabgleiche von gefilmten Color Charts machen.

(Ansonsten könntest Du ja Deinen Arbeitgeber Adobe noch überreden, entsprechende Funktionen in seine Programme einzubauen...)

[Friedemann Wachsmuth]

Ja, Resolve ist auch mein Ziel, da es kostenlos ist. Dafür, dass CinemaDNG ne Adobe-Erfindung ist, kommt Premiere damit erstaunlich schlecht zu recht. Mit After Effects und ACR geht es aber. 
 

(Resolve hat gestern schon die ersten Sequenzen importiert... wollte ich mir eh mal ansehen. 🙂

 

Ich rsynce die Raws noch während des Scans rüber auf meinen Mac, so bleibt der Raspi immer schön leer. Die Wandlung nach (Cine-)DNG nebst verlustfreier Kompression (so ca. 38%) ist auf einem kräftigeren Rechner besser aufgehoben und kann dort schon beim Eintreffen der Daten geschehen. 

Bearbeitet 12. August 2020 von F. Wachsmuth (Änderungen anzeigen)

[Friedemann Wachsmuth]

(Eine 120m Filmrolle wären ca. 600GB Rohdaten, da wird's mit uSD dann schon teuer...)

[ReelToReel]

vor einer Stunde schrieb F. Wachsmuth:

 

🙂

 

Ich rsynce die Raws noch während des Scans rüber auf meinen Mac, so bleibt der Raspi immer schön leer. Die Wandlung nach (Cine-)DNG nebst verlustfreier Kompression (so ca. 38%) ist auf einem kräftigeren Rechner besser aufgehoben und kann dort schon beim Eintreffen der Daten geschehen. 

 

Oje, oje. Im Moment habe ich den Eindruck das Projekt hat zwar mit einem 25 Euro Projektor begonnen mit dem Ziel eine Super 8/8mm Filmkopiermaschine auf Digital unter 350 Euro zu schaffen, aber für die notwendige Computer Hard-/Software könnte ich mir auch 2 Porsche leisten.

Ich hoffe das ist eine Fehleinschätzung.

Natürlich ist für so ein Projekt die geballte Kraft professionellen Wissens gefragt. Aber bitte nicht aus den Augen verlieren, dass jede Menge Filmfreakes, die eben auf kein professionelles Computerequipment zugreifen können,  gerne so einen Projektor zum digitalisieren ihrer Super 8 / 8mm Filme nachbauen möchten um ihre Filme in erstklassiger Qualität ins Netz zu stellen oder sie als Kopie mit Freunden zu teilen.

Noch habe ich die Hoffnung das ist nur eine Zwischenphase, die ich falsch beurteilt habe.

Grüße

 

[fcr]

48 minutes ago, ReelToReel said:

 

Oje, oje. Im Moment habe ich den Eindruck das Projekt hat zwar mit einem 25 Euro Projektor begonnen mit dem Ziel eine Super 8/8mm Filmkopiermaschine auf Digital unter 350 Euro zu schaffen, aber für die notwendige Computer Hard-/Software könnte ich mir auch 2 Porsche leisten.

Ich hoffe das ist eine Fehleinschätzung.

 

 

Ist 'ne Fehleinschätzung. Im Zweifelsfall kannst Du die Raw-Dateien selbst auf den gemächlichen Rechnern mit Open Source-Software wie z.B. dem Raw-Converter Darktable in klassische JPEG- oder PNG-Dateien wandeln und anschließend mit dem Open Source-Programm Handbrake in normale Videos  - was beides auch recht einfach geht. (Darktable hat sogar eingebaute Unterstützung für die Farbumwandlung von gescannten Negativfilm, und beide Programme gibt's für alle gängigen Betriebssysteme, also Windows, MacOS und Linux.)

 

Wenn Dein Rechner älter ist, werden diese Umwandlungen nur etwas länger dauern.

Und wenn man Echtzeit-Videobearbeitung der DNG-Rohdateien in Resolve machen will, reicht dafür mittlerweile ein (neuer) 1000 bis 1500-Euro-PC.

Und für die von Peaceman genannten 600 GB-Rohdaten kriegt man heute im Elektronikmarkt externe 1TB-USB-Festplatten für unter 50 Euro.

Bearbeitet 12. August 2020 von fcr (Änderungen anzeigen)

[superkowski]

Eine Frage am Rande. Es gibt doch Filmvorspann in verschiedenen Farben, macht es Sinn diese Filmvorspanne vor dem Scannen mit aufzunehmen.

 

Die aufgenommen Raw's bzw. Dng's könnte man auf diese Farben abgleichen, wenn man diese vorher densitometrisch ausmisst. Man bekommt lediglich

 

einen Tonwert und die benötigte Referenz fehlt. Oder sind diese Filmvorspanne schon eine Referenz? Könnte ja sein.

 

Grund ist ich habe keinen Testfilm. 🙂 und ich hasse den Abgleich von Farbstichen in der Nacharbeit.

 

[Regular8]

Das halte ich für eine schlechte Idee. Der Grünvorspann von Hama z.B. liefert einfach irgendeinen Grünwert, der mit den Grünwerten im Film überhaupt nichts zu tun haben muss. Die Farben daran zu "eichen" wird mit hoher Wahrscheinlichkeit fehlschlagen. Zumal ein Vorspann ja meist auch immer nur eine einzige Farbe transportiert und nicht das gesamte Farbspektrum. Besser wird sein, mit dem jeweilgen Filmmaterial, das zur Anwendung kommt eine Farbtesttafel aufzunehmen und daran die Farben zu kalibrieren - nach dem Scan. Aber auch das ist nicht so ohne, da in unterschiedlichen Lichtsituationen die Farbtafel auf dem Film auch jedesmal ein bisschen anders aussieht.

[superkowski]

vor 3 Minuten schrieb Regular8:

 liefert einfach irgendeinen Grünwert, der mit den Grünwerten im Film überhaupt nichts zu tun haben muss. ....

.

Dieser Grünwert hat genau einen Tonwert zum Zeitpunkt des Scannvorgangs. Mit den Helligkeitsinformationen hat man einen Wert

den man mit der Referenz(die densitometrische Messung des Grünvorspann) in einem Bearbeitungsprogramm wie PS vergleichen 

und anpassen kann. 

Leider zeigen meine Filme keine Farbtafel, zu keiner Zeit. Damals war man froh, dass "der Mann mit der Kamera" und Kippe in der linken Hand

einigermaßen mit dem Gerät klar kam. 

Den Weißabgleich kann man natürlich auch im Beton, oder an den Hauttönen von Personen vornehmen. Wie gesagt, nicht so mein Bedürfnis.

VG Harald

[Friedemann Wachsmuth]

Ein Einzelner Grünwert hilft Dir nicht beim Raws entwickeln. Damit kalibriertest Du ja bloss einen der drei Farbkanäle (und mit nur einem Helligkeitspunkt kalibriert man auch nicht wirklich etwas). Den richtigen Farbabgleich wirst Du immer machen müssen, aber in Resolve ist das ja sehr einfach, im einfachsten Falle verlässt Du Dich einfach auf Resolves Automatik. 🙂

 

[Jeff Smart]

Vorschlag: Eine Farbtesttafel bei definiertem Kunstlicht aufnehmen, fertig ist der Einmeßfilm.

 

https://en.wikipedia.org/wiki/ColorChecker

 

Colorchecker (MBF Shop)

 

Ich verwende seit Jahren eine einfache Kunststoffkarte namens JOBO Farbtest-Karte. Gibt es vom Hersteller nicht mehr, ist aber auf eBay noch zu finden. Wasserfest, lichtecht und paßt in jede Kameratasche, hat Referenzfarb- und Graufelder.

[carstenk]

Das geht auch ohne messtechnische Farbkalibrierung. Beim Projizieren eines Positivfilms gibts die auch nicht, oder kann sich jemand erinnern, die Farbtemperatur des Aufnahmelichts bei seinen Super8 Aufnahmen gemessen zu haben, oder die Lichtfarbe über Leuchtmittel, Spiegel, Kondensor und Objektiv des Projektors kalibriert? Wird notgedrungen als 'gegeben' hingenommen. Aber kaum ist was digital, muss es spezifizierbar sein.

Bearbeitet 13. August 2020 von carstenk (Änderungen anzeigen)

[Friedemann Wachsmuth]

Vielleicht macht ihr für das unendlich Thema Farbmanagement einen dedizierten Thread auf? 🙂

 

Mein Scanner erzeugt 12-bittige Raws. Die sind besser gradebar als so ziemlich jedes fette Videoformat. Und einen (guten) Scan, den man nicht bearbeiten musste, gibt es m.E. nicht. 

[carstenk]

Hauttöne, Asphaltgrau, Wände - irgendwas findet sich immer. Und die selbst in billigen Knipsen integrierten Automatiken kriegen das auch in den meisten Fällen hin. Da erwarte ich von Resolve oder anderen Tools mindestens die gleichen Ergebnisse. Typisch sind die wesentlich besser.

 

Eine externe unabhängige Referenz ist ja ohnehin witzlos, weil sie ja gerade Aufnahmelicht und Filmspezifika ausblendet. Mag ja spannend sein, Kamera und Objektiv einzutesten, aber das nützt einem für den konkreten Scan eines Films rein garnichts.

Bearbeitet 13. August 2020 von carstenk (Änderungen anzeigen)

[ReelToReel]

Hallo

Was ist eigentlich aus der Sache geworden? Eingestellt? Eingeschlafen??

 

Ich hatte irgendwie die Hoffnung das ich mir mal einen guten Scanner zu einem bezahlbaren Preis bauen kann.

Aber mir scheint ich habe da etwas falsch verstanden 😴

Grüße

[Friedemann Wachsmuth]

Kam wegen Arbeit eine Weile zum Erliegen. Ich hab aber noch bis Sonntag Urlaub und dad ganze Geraffel mitgenommen um weiter zu kommen. 
 

Deine Erwartungshaltung ist aber falsch. Ich mache das für mich, als Hobby, und dokumentieren es. Am Synkino habe ich vier Jahre gearbeitet. Es ist eben Hobby, und daher kann so ein Projekt nur begrenzt Energie bekommen, und das ist auch gut so, denn sonst macht es keinen Spaß mehr. Also warte bitte nicht auf eine fertige Lösung zu irgendeinem Zeitpunkt. Wenn der Scanner fertig ist und wie gewünscht funktioniert, wird es hier stehen. 

[ReelToReel]

vor 52 Minuten schrieb F. Wachsmuth:

Deine Erwartungshaltung ist aber falsch. Ich mache das für mich, als Hobby, und dokumentieren es.

 

Hallo,

nichts für Ungut. Entschuldigung. Ich wollte dich hier nicht unter Druck setzen oder kritisieren. Hatte nur irgendwie den Eindruck du bist unterdessen mit anderen Dingen beim "Schmalfilm" beschäftigt und hast das Thema Filmscanner irgendwie stillschweigend ad acta gelegt. Es hatte so euphorisch mit fast täglichen Mitteilungen begonnen ........

Und man hatte zuletzt den Eindruck:" Noch ein paar Kleinigkeiten und das Projekt steht". Falsch gedacht. Sorry, mein Fehler.

 

Schönen Urlaub noch

Grüße

[Friedemann Wachsmuth]

Das stimmt, es gibt bei mir irgendwie immer mehrere Hobbyprojekte gleichzeitig, zwischen denen ich alterniere. Aber irgendwie muss das so, wenn Sachen eine Weile liegen bleiben, "reifen" sie meistens. "Ad acta gelegt" wurde also nur temporär 🙂
 

Beim Scanner fehlt jetzt vor allem Software. Und ich muss den Greifer bei dem verbauten Noris neu justieren, denn der Bildstrich stimmt nicht, und das ist leider sehr nerviges Trial & Error...

 

 

[Friedemann Wachsmuth]

So, ich schulde ein Update — denn es geht (bzw. ging) voran, und zwar am letzten Wochenende. Ich bin sehr happy und hab irre Bock, weiter zu arbeiten, leider wird das frühestens erst am Wochenende wieder was. Aber die Motivation und das "Fieber" sind wieder da. 🙂

Was hat sich getan?

 

- Die Scan-Geschwindigkeit hat sich erhöht und es werden keine kaputten Einzelbilder mehr erzeugt, das tat früher gelegentlich auf und war sehr nervig. Ich warte jetzt, bis die Kamera fertig ist, und nehme dann das nächste Bild auf. Für ein Fullsize-Raw dauert das etwa 0.7 Sekunden, manchmal, wenn der Buffer voll ist, aber auch 1.1 Sekunden, oder etwas dazwischen. Der Scanner tackert so nicht mehr so gleichmässig, aber dafür schneller.

- Die auf die SD-Card des Raspi geschriebenen Daten können nun "live" wegsynchronisiert werden. Ein direkt auf eine externe Festplatte schreiben ist zu langsam, daher ist die SD-Karte jetzt quasi ein Zwischenspeicher. Da 15m Super 8 Film gute 80 GB an Rohdaten erzeugen, macht das "wegsynchronisieren" viel Sinn. Es gibt daher (bisher) zwei Optionen: Entweder auf eine externe Festplatte (langweilig), oder per Netzwerkkabel auf einen Mac oder PC, auf dem ein kleines "Empfängertool" läuft. Der Vorteil der letzteren Lösung ist, dass dieses Empfängertool nicht nur die Rohdaten annimmt, womit der Raspi sie bei sich löschen kann, sondern sie auch gleich "live" weiterverarbeitet.
Dabei werden dei Rohdaten in DNG gewandelt und die DNG-Dateien (eine pro Bild) in ein CinemaDNG gepackt. So wächst die "Filmdatei" live während man scannt, was ich ziemlich cool finde 🙂

 

Angehängt ein Bild, links das JPG, wie es die Kamera erzeugt. Es handelt sich um eine Positivkopie von Vision 3 200T, die ohne Tageslichtfilter gefilmt wurde, in dieser Szene zu knapp belichtet und auch noch etwas dunkel kopiert wurde (Auch in der Projektion ist kaum etwas zu erkennen). Das echte Bild ist aus den 12-Bit Rohdaten erzeugt, die die Kamera erfasst. Da kann man eine Menge retten!

Und ja, ich sollte mal probieren, Negativfilm zu scannen und vor allem höher aufgelösten, aber das ist im Moment noch nicht die Priorität.

[Friedemann Wachsmuth]

Und hier noch ein kurzer Einblick in Form von Bewegtbild aus der Hand 😉

 

 

[Carena48]

Genial! 

[Friedemann Wachsmuth]

Hier noch mal ein Beispiel, was in den Raws so für Details stecken. Die Aufnahme selbst hier ist auch noch zu dunkel, die Kamera läuft (noch) im Automatikmodus. Aber selbst dann ist in Schatten und Lichtern noch viel drin!
Die Bearbeitungen, die man hier an einem Einzelbild sieht, lassen sich natürlich exakt genauso an ganzen Sequenzen ausführen, und statt in ACR auch in Resolve oder sonstwo.