Synkino – endlich einfach vertonen

[Friedemann Wachsmuth]

So, ich starte mal einen separaten Thread für das Projekt :)

 

Da @Theseus, @Helge, @St1600, @SandroP und @S8ler das Thema interessant finden und ich den 2017-PLanungsthread nicht kapern wollte, mach ich hier zum Synkino-Projekt mal einen eigenen Thread auf.

 

Nochmal die Zusammenfassung:

 

---------------

 

Synkino wird ein vollautomatisches, einfachst zu bedienendes Zweibandsystem, dass mit jedem Projektor ohne jeglichen Eingriff funktioniert. Es besteht aus zwei Kästchen: Das eine enthält eine SD-Karte und wird an die Stereoanlage angeschlossen. Pro Film enthält die SD-Karte einfach eine Datei (MP3, WMA, AAC etc) mit dem Soundtrack.

Das andere Kästchen steht in Projektornähe. Man hält kurz eine Filmspule davor, legt den Film ein und startet den Projektor. Der zugehörige Ton startet automatisch und bleibt für mindestens eine Stunde lippensynchron, ganz egal, wie schnell der Projektor läuft. +/-15% Geschwindigkeitsschwankungen werden ausgeglichen.

Hier die derzeitige Frankensteinversion, die schon sehr vielversprechend funktioniert – das Oszi zeigt die gemessenen 57,94981 Hz Bildfrequenz an (Dreiflügelblende), die gerade via RS232 und Bluetooth an das Audiomodul geschickt werden. :)

 

 

Technische Details für Interessierte:

Die Soundwiedergabe folgt der Prjektorgeschwindkigkeit durch nahtlose Anpassung der Samplingrate in Echtzeit – auf 2ppm genau. Alternativ habe ich auch schon ein Plugin für den DSP gebastelt, welches die Abspielgeschwindigkeit ohne Änderung der Tonhöhe nachführen kann -- allerdings klappt die Anpassung der Geschwindigkeit hier noch nicht immer ganz frei von hörbaren Artefakten. 

Beide Module sind via Bluetooth verbunden, es wird also kein Kabel zwischen Projektor und Anlage benötigt. Im Projektormodul wird ein RFID-Reader eingebaut, der den zu beschallenden Film anhand eines kleinen Aufklebers erkennt und im Soundmodul die passende Datei lädt. Die Ist-Frequenz des Projektors wird durch eine extrem schnelle Fotodiode und einen rauscharmen OpAmp in Transimpedanzverstärkungsschaltung quarzgenau gemessen. Zwischen 16 und 30 fps liegt die Messgenauigkeit bei fünf Nachkommastellen (also z.B 54,00001 Hz bei 18 fps und Dreiflügelblende). Hierdurch muss man weder einen Reed-kontakt noch sonstwelche Umbauten am Projektor vornehmen -- das ganze funktioniert einfach über das Licht hinter der Umlaufblende, also mit buchstäblich jedem Projektor. Der gemessene Takt wird laufend zum Soundmodul gefunkt, wo der Ton entsprechend nachgeführt wird.  

Ich hoffe, 2017 eine Kleinserie davon anfertigen zu können. Allerdings hab ich noch ein gutes Stück Arbeit vor mir, wenn die Kernkomponenten jetzt auch schon ziemlich gut laufen. :)

[Friedemann Wachsmuth]

Sowohl mit Hard- als auch mit Software geht es recht stetig voran , richtige "Roadblocks" habe ich noch nicht gefunden. Mittlerweile werkeln sogar drei AtMegas am vorhaben, die AVR-Familie ist doch etwas schwachbrüstig. Bevor ich aber nun alles auf Teensy oder eine andere ARM-Plattform umziehe, mache ich lieber mit "drei Kernen" weiter -- ein China-Arduino-Clone kostet schliesslich keine 3 Euro.

 

Hat vielleicht einer der interessierten hier Lust, sich zu gegebener Zeit um ein kleines Gehäuse zu kümmern? Ich kann Hard- und Software und werde auch passende Platinchen routen und fertigen lassen, so dass einer Kleinserie nichts mehr im Wege steht. Nicht gut bin ich aber bei Gehäusen. Wenn sich da jemand versiertes und interessantes findet, kriegt der die allererste Version der dann "fertigen" Platinen, damit der Platz für Display, Anschlüsse, LEDs, Antennen und Taster nachher auch stimmt. Wenn nicht, muss sich eben jeder selber sein Gehäuse bauen. :)

 

Es ist eigentlich noch früh zum schätzen, aber ich bin recht zuversichtlich, dass ich bei dem System unter 100€ Kosten (für Teile und Platinen beider Module zusammen) bleiben kann, also als Bausatzpreis zum fertiglöten (und natürlich ohne Gehäuse). 

 

Hard- und Software sollen am Ende offen sein, so, dass jeder interessierte sie verbessern und erweitern kann – ich denke an eine BSD-Lizenz o.ä. Mal sehen.

 

Interessant wäre natürlich, wer überhaupt Interesse an so einer "Null-Serie" hätte. Bekämen wir 10 Leute zusammen? Und hat jemand Lust auf die Gehäusearbeit?

[Helge]

Also eine Nachführung des Tons an den Filme, umgekehrt zum Visacustic System (z.B.). Wenn Du den Sound in der Tonhöhe konstant hältst, hast Du gewonnen. Es geht Die aber hier wohl weniger um O-Ton, als vielmehr um Nachvertonung, richtig?
Wie muß ich mir die eigentliche Vertonungsarbeit vorstellen, wenn Szene für Szene mit z.B. Musik und Kommentaren versehen werden?

Wäre das Konzept denn prinzipiell auch tauglich für O-Ton?

Interesse an der Technik: ja!
Interesse an einem Gerät aus der Null-Serie: gute Frage?, momentan komme ich mit dem Visacustic System gut klar, aber für N8 suche ich noch nach einer brauchbaren 2-Band-Lösung...

Hilfe beim Gehäuse: auch eine gute Frage!, mir fehlt dazu evtl. das notwendige Equipment

(Schade, daß Du im April nicht nach Deidesheim kommst, da hätte man mal näher diskutieren können)

 

[Ulrich Busse]

*staun*

Für die Nullserie wäre ich einer der 10.

Klein-Serienmäßigen Gehäusebau traue ich mir allerdings nicht zu. Ist 30 Jahre her, dass ich so etwas gemacht habe.

 

[Tri-X]

Bin ebenfalls interessiert (kann beim Gehäuse allerdings leider auch nicht helfen...).

Bin gespannt!

[Gizmo]

Hallo Friedemann,

 

wie groß sind denn die SD-Karten, auf denen Du Audio speicherst? Im Prinzip würden ja schon 500 MB reichen.

 

Gruß Rainer

[Friedemann Wachsmuth]

@Helge: Ja, der Ton wird nachgeführt, damit ist es eben ein Projektor-unabhängiges System. DSP-gesteuerte Geschwindigkeitsanpassung (ohne Tonhöhenveränderung) oder Samplerate-anpassung (also klassisches schneller/langsamer machen wie beim Tonband) geht beides. Letzteres bekomme ich (noch) deutlich gradueller hin (in 2- Promille-Schritten) und bei einem guten Projektor ist es eigentlich unhörbar, solange nicht gerade Klaviermusik auf der Piste ist. Am Ende hat aber der User die Wahl. :)

 

Ich habe Nachvertonung im Kopf -- aber O-Ton sollte auch gehen. Grundlage zur Vertonung sollte, wenn Lippensynchronität gewünscht ist, idealerweise eine einzebildgenaue Abtastung des geschnittenen Films in beliebig schlechter Qualität sein -- dann kann man im Schnittprogramm der Wahl einfach eine schöne Audiospur zusammenschieben und diese anschliessend als passende Stereo-Datei ausgeben. Zum Testen habe ich vorgestern eine Rolle Foma lang im Garten gestanden und vor der Kamera bei Eiseskälte auf einem Glockenspiel rumgeklopft. Parallel lief mein iPhone und hat den O-Ton mitgeschnitten. Den entwickelten Film habe ich zur Abtastung an Screenshot geschickt, der wird dann mein "Testcontent" und der O-Ton ggf. in FCPX (o.ä.) gestreckt oder gestaucht, bis er (bei 18 fps) vorne und hinten synchron ist. 

 

@Gizmo: Das ist völlig egal -- selbst die kleinste erhältliche Karte für 7€ ist viel zu groß. Meine 200 GB-Karte von Samsung wird aber auch erkannt. :) Die Idee ist, dass eine SD-Karte den Ton für sämtliche Filme die man besitzt (und vertont) bereithalten soll -- damit die passende Tonspur eben durch einfaches RFID-Scannen (also ans Gerät halten) geladen werden kann.

[TK-Chris]

Wow, 

Friedemann, ich bin begeistert!

Vielleicht kann ich so endlich meine Filme vom Skilager vor nunmehr 15 Jahren endlich "richtig" nachvertonen. Mensch, das macht dann wieder spaß :)

 

 

Ich hefte dieses Thema mal oben an, das hat es verdient :)

 

Fohes Neues

Chris

[jacquestati]

Hallo Friedemann, bin begeistert! Bin gern dabei!

Bearbeitet 31. Dezember 2016 von jacquestati (Änderungen anzeigen)

[filma]

Das klingt ja großartig! Ich wäre sofort dabei!

 

Falls Du noch jemanden für das Gehäuse brauchst, bin ich gern bereit, das zu übernehmen! Know How ist da und Maschinen in greifbarer Nähe (für Holz und Kunststoff).

 

Guten Rutsch!

 

 

[k.schreier]

Sehr interessant !

Wenn auch die beschriebene Technik für mich ein böhmisches Dorf ist..

Aber als "User" - sprich Abnehmer eines solchen Kleinserien-Produkts wäre ich dabei.

Bearbeitet 1. Januar 2017 von k.schreier (Änderungen anzeigen)

[dbx1000]

Hi Friedemann,

 

gutes Projekt!

Wie bekommst Du denn den Synchronpunkt zwischen Film und Audiodatei hin? Nachführen ist ja nur die halbe Miete, zusätzlich brauchst Du ja noch einen definierten Startpunkt auf dem Film. Projektor ranfahren aufs erste Bild (?) und dann Sync-Lock via Tastendruck?

 

(Samplingrate nachführen ist m.E. die richtige Lösung. SRD machts auch so.)

 

dbx1000

Bearbeitet 1. Januar 2017 von dbx1000 (Änderungen anzeigen)

[Friedemann Wachsmuth]

Der Plan bisher ist via Startmarke im Bildfenster. Sobald die Projektionslampe glüht UND die Umlaufblende sich dreht soll die Audiowidergabe starten (muss ich noch implementieren, daher "soll"). Ein shiften in 0,1-Sekunden-Schritten (oder auch Einzelbildern) via Tastendruck ist trivial einzubauen. 

[dbx1000]

Aus der Praxis (SRD-Installation): nachträglicher Shift "nach Ohr" bis es synchron ist, ist bei "laufendem Programm" sauschwer (denn 100% synchron wird es ja nie, schon gar nicht bei 0,1s Auflösung des Shifts). Bis man das eingestellt hat, ist die Rolle durchgelaufen. Ich würde daher eher aufs Startkreuz setzen (Positionierung könnte ohne Rangierbetrieb bzw Handrad aber schwierig werden).

 

Miss mal wie viel Verzögerung das "Lampe glüht", hat, denn die muss ja erst hochheizen. Ggf ist da ein kleiner Offset nötig um das zu kompensieren. Ansonsten sollte das Hochlaufen prinzipiell kein Problem sein, nachdem Du ja die Samplingrate nachführst (wobei das Hochlaufen natürlich ne Herausforderung ist, dass sich da alles schnell genug einschwingt bzw. lockt). Würde aber die Audio-Ausgabe muten wenn sich die Sampling-Rate ausserhalb eines bestimmten Fensters befindet (Vermeiden von Jaulen beim Hochlaufen).

[St1600]

Bin auch dabei in der 10er-Bande..

Kannst Du mal die Innenmaße für das Gehäuse umreissen?

 Wie ist das mit Passiv-Kühlung durchs Gehäuse?

[travenon]

Wow, super Projekt! Da bin ich auch sofort dabei!

 

Wieviele Steuermöglichkeiten hätte man denn (von der Hardware her) nach derzeitigem Planungsstand am Gerät? Je nach Projektor und Möglichkeiten, ein Startbild genau anzufahren, wäre es vielleicht hilfreich, einen Offset für jeden Projektor (also durchaus auch in der Größenordnung von Sekunden) einstellen zu können. Oder neben der Verwaltung von Filmspulen auch gleich eine Verwaltung von Projektoren?

Eine zweite Frage zum Funk: Die Geräte verwenden ja Bluethooth und RFID. Wie groß ist da die Reichweite vom Bluetooth oder wie störanfällig ist das? Wäre ein Ersatz beider Techniken durch Kabel und Menü eine Backupmöglichkeit? Oder ist das unnötig, weil zuverlässig genug oder zu kompliziert in der zusätzlichen Umsetzung?

(Im Programmieren bin ich nicht so gut - daher kann ich nur fragen und anregen...)

[andi]

Hallo Friedemann,

dein Projekt wäre genau die Lösung meiner Probleme. Wäre auf jeden Fall auch dabei.

Viele Grüße!

Andi

 

[Friedemann Wachsmuth]

Puh, langsam wird das ja Erwartungsdruck ;)

De Maße kann ich noch nicht sagen ... noch ist alles fliegend auf mehreren Breadboards verdrahtet. Eine Kühlung wird nicht nötig sein.

Wer Bluetooth nicht will, kann auch eine beliebige Zweidrahtleitung nehmen, wenn ich RS485 einbaue gehen bis 1,2 km mit beliebigem Klingeldraht. :) 

Einen projektorbezogenen Offset oder ähnlichen Feinschliff einstellbar (und speicherbar) zu machen, ist überhaupt kein Problem, sowas wird Kür. 

 

Kurzes Update zum Status:

 

 

Mittlerweile bin ich auf drei µCs ausgewichen, denn der angestrebte AtMega32U4 ist einfach ziemlich schwachbrüstig – dafür aber vertraut und billig. Der eine µC ist gut damit beschäftigt, Musik von der SD-Karte zu laden und fristgerecht an den Decoder zu schicken. Er steuert ausserdem den DSP und belädt selbigen mit dem nötigen Code aus einem kleinen I2C-EEprom. Auf Zuruf regelt er die Samplerate nach. Für weitere Aufgaben war da keine Luft mehr. 

Der zweite µC kümmert sich hauptsächlich um Frequenzmessung des Projektors, und das mit sehr hoher Genauigkeit. Desweiteren instruiert er seine beiden Nachbarn über einen einfachen seriellen Bus (kein I2C, kein SPI), was zu tun ist. Der dritte im Bunde kümmert sich um das OLED-Display, Menü, RFID und Tastendrücke. Letzterer wird auch die "State Machine", also quasi die steuernde Instanz für die beiden Kollegen. 

 

Es geht voran, aber es ist auch noch einiges zu tun. Eine Woche Urlaub habe ich noch, mal sehen, wie weit ich komme...

 

[k.schreier]

vor 7 Stunden schrieb F. Wachsmuth:

Puh, langsam wird das ja Erwartungsdruck.... Eine Woche Urlaub habe ich noch, mal sehen, wie weit ich komme...

 

Friedemann, geh doch zwischendurch mal mit der Filmkamera raus - das entspannt (hier am Ostseestrand wo ich gerade bin scheint die Sonne..in Hamburg auch?)

[Friedemann Wachsmuth]

Das, Klaus, ist eine hervorragende Idee. 

[Schokoprinz]

Hallo Friedemann, 

funktioniert das Ding auch mit 16 B/s? Dann kann ich damit Normal 8 vertonen. Dann bin ich auch dabei. 

 

Gruß

Uwe

[Lars M.]

Ich wäre auch dabei, das ist ,finde ich, eine sehr tolle Idee! 

 

Gruß Lars

[Helge]

vor 52 Minuten schrieb Schokoprinz:

Hallo Friedemann, 

funktioniert das Ding auch mit 16 B/s? Dann kann ich damit Normal 8 vertonen. Dann bin ich auch dabei. 

 

Gruß

Uwe

Steht ganz oben, von 16 B/s bis 30 B/s...

N8 wäre auch mein Einsatzzweck, für S8 bin ich gut gerüstet 

[Theseus]

vor 9 Stunden schrieb F. Wachsmuth:

Mittlerweile bin ich auf drei µCs ausgewichen, denn der angestrebte AtMega32U4 ist einfach ziemlich schwachbrüstig – dafür aber vertraut und billig. Der eine µC ist gut damit beschäftigt, Musik von der SD-Karte zu laden und fristgerecht an den Decoder zu schicken. Er steuert ausserdem den DSP und belädt selbigen mit dem nötigen Code aus einem kleinen I2C-EEprom. Auf Zuruf regelt er die Samplerate nach. Für weitere Aufgaben war da keine Luft mehr. 

Mit den drei Controllern sparst du dir auf der anderen Seite viele Timming-Probleme. Auch leistungsstarke Controller können hier und da blockieren, obwohl Rechenleistung genug zur Verfügung steht.

Ich hatte gedacht, der DSP würde die Dateien direkt abspielen. Ich finde die Leitung durch den 32u4 ganz interessant.

[cineprojekt_L]

Mich interessiert das natürlich auch.

 

Für S8 und N8 bei 16 B/Sec,