BewegtBildBau Projects Articles Hire me!

Making of Changing Sceneries

Dieser Artikel beschreibt einige Hintergründe zu der AV-Performance Changing Sceneries.

Die Grundlage für das visuelle Konzept war die Idee, dass einzelne Szenerien dargestellt werden sollten und nicht wie beim VJen üblich eine Mixtur aus unterschiedlichem Bildmaterial und/oder Videoeffekten. Technisch stand deshalb schon früh fest, dass mehrere Ebenen zu einem Bild zusammengesetzt werden sollten.

Kurz vor dem Dreh habe ich gelesen, dass Resolume 3 Alpha Channels bald auch in dem Resolume-eigenen Codec DXV unterstützen wird. Somit erstellte ich Testvideos mit Alpha Channels in After Effects und spielte diese in Resolume 3 ab. Dies stellte mich soweit zufrieden, dass die Aufnahmen beginnen konnten.

Gedreht wurden die Videos mit der digitalen Kinokamera Red One. Entweder habe ich oder in einigen Fällen auch André Zerwas (Vielen Dank!) die Kamera bedient.

Grundziel war es entweder ein Gesamtbild aufzunehmen und darin unterschiedliche Elmente zu verändern oder unterschiedliche Elemente aufzunehmen und zu einem Gesamtbild zusammenzufügen.

This article describes some backgrounds of the AV-performance Changing Sceneries.

The idea of the visual concept was to show several sceneries and not the common VJ-style mix of different video layers and/or effects. On the technical side it was clear that layers had to be composited to one image.

A few days before the shoot I read that Resolume 3 is going to support alpha channels in their own DXV-codec sometime soon. Therefore I created some test-clips in After Effects and played them back in Resolume 3. Everything seemed to work just find and the shootings could begin.

The videos were shot on the digital film camera Red One. Myself and André Zerwas (Thanks a lot!) operated the camera.

The goals was to shoot a complete image with different elements which could be manipulated separatly later on or too shoot different elements which could be composed to one image.

Changing Sceneries Shot 1

Hier ein Standbild, in dem unterschiedliche Aktionen in einem Gesamtbild gesteuert werden können.
This is a frame where different actions can be manipulated in one image.

Changing Sceneries Shot 2

Hier ein zusammengefügtes Bild aus mehreren einzel gedrehten Videos.

Mit der Red Software RedRocketX haeb ich die RAW Daten der Red One in Quicktime ProRes 422 mit einer Auflösung von 1920×1080 konvertiert. Dabei habe ein erstes Grading für die unterschiedlichen Szenen vorgenommen.

In After Effects habe ich jeden Clip in einer eigenen Komposition bearbeitet und ggf. Teilbereiche maskiert. In manchen Fällen habe ich die Einzelteile in einer Komposition zusammengefügt um die Übereinstimmung besser bewerten und durch Farbkorrekturen die Materialien besser angleichen zu können.

Alle in Frage kommenden Clips habe ich als DXV mit Alpha-Kanal, welcher erst in der wenige Tage davor veröffentlichen Version 3.2 von Resolume unterstützt wurde, in einer Auflösung in 1280×720 gerendert.

Steueren wollte ich die Videos mit einem Novation Launchpad und einem Novation Nocturn. Da ich nicht nur einfache MIDI-Signale an Resolume senden wollte habe ich mit Processing einen Patch programmiert. Dieser Patch empfängt und sendet MIDI-Signale an das Launchpad, verabeitet diese und sendet dann per OSC Daten an Resolume. Das Nocturn hatte dagegen verschieden konfigurierte Einstellungen, welche bestimmte MIDI-Signale direk an Resolume gesendet haben.

Der Patch enthält drei unterschiedliche Steuerungsmodi für das Launchpad, unter anderem einen Sequencer. Jeden Modus habe ich genau auf die Bedürfnisse für die Performance abgestimmt.

Für Interessierte stelle ich den Patch auch hier zur Verfügung. Dieser ist allerdings sehr zusammengeschustert, wild gewuchert und voller seltsamer Kommentare. Ich übernehme als keinerlei Garantie auf Funktion.

Changing Sceneries Patch

Sowohl die Videos als auch die Programmierung des Patches haben sich über einen Zeitraum weiterentwickelt, in welchem ich mit Dominik mehrmals geprobt habe. Einige Videos sind weggefallen, einige wurden erweitert und der Raum für die Improvisation wurde maßgeblich durch die Art der Bedienung und somit auch die Programmierung des Patches festgelegt.

This is a image composed from different videos.

I used the Red software RedRocketX to make a first color correction and convert the RAW footage to Quicktime ProRes 422.

In After Effects I had a composition for every clip I worked on. In this compositions I also masked the parts which I needed. In some cases I put the different elements together in one compositions to check if they work as a whole and to be able to make the color corrections for the different elements.

I rendered the clips which I wanted to used as DXV with alpha channel in a resolution of 1280×720. The alpha channel was only a few days old and came with version 3.2 of Resolume.

I wanted to control the clips with my Novation Launchpad and my Novation Nocturn. Because I wanted to send Resolume more than simple MIDI-signals I coded a patch in Processing. The patch was receiving and sending MIDI to the Launchpad and send out OSC to Resolume. The Nocturn was configured with different settings which send MIDI directly to Resolume.

The Processing patch consists of three different modus for the Launchpad. One of them is a sequencer. I developed every modus according to my needs for the performance.

I am providing the patch here for everyone who is interested to take a look at it. The code is a mess and has grown in a chaotic fashion and is full of strange German comments. I do not guarantee that it works at all.

Changing Sceneries Patch

The video and the code where developed over some time in which I had rehearsals with Dominik. Some of the videos were thrown out and some where changed. The room for improvisation was set a lot through the way I used and coded the interface devices.