Altijd al willen weten hoe historische gebeurtenissen die we kennen van zwart-wit archiefmateriaal er in kleur hadden uitgezien? Rudy Marsman heeft zes van zulke films uit het archief van het Nederlands Instituut voor Beeld en Geluid in laten kleuren door een computeralgoritme. Rudy is masterstudent Information Science aan de Vrije Universiteit en deed voor zijn afstuderen deed hij bij Beeld en Geluid onder meer onderzoek naar het automatisch inkleuren van bewegend archiefmateriaal. Hieronder legt hij uit hoe hij te werk ging:
Als een deel van mijn masterscriptie heb ik gekeken naar de mogelijkheden om automatisch zwart-wit video’s in te kleuren. Recente ontwikkelingen op het gebied van kunstmatige intelligentie hebben het mogelijk gemaakt om een computer zelf te laten inschatten welke kleuren bij een zwart-wit foto of filmfragment passen.
Twee stills uit de film ‘Steegjes‘, waarbij de rechter is ingekleurd. Bron: Polygoon-Profilti (producent) / Nederlands Instituut voor Beeld en Geluid (beheerder) / ingekleurd door Rudy Marsman, CC BY-SA
De wiskunde hierachter is complex, maar het principe is redelijk simpel: Laat de computer zelf patronen herkennen en daar labels van kleuren aan hangen. In dit geval is gebruik gemaakt van een zogenaamd kunstmatig neuraal netwerk. Dat is een computerprogramma dat gebouwd is om zelflerend te zijn. Het netwerk dat gebruikt werd is getraind op 1 miljoen kleurenfoto’s, die zowel in kleur als in zwart-wit werden ingevoerd. De computer moest gokken welke kleur elke pixel in de foto moest krijgen. Als de computer goed gokte werd deze ‘beloond’, en de computer werd ‘gestraft’ voor het fout gokken. Al snel ontdekte de computer patronen als ‘als ik bovenin de foto gok dat de lucht blauw is word ik beloond’ of ‘alles wat op een boom lijkt moet groen worden ingekleurd’.
Twee stills uit de film ‘Actie voor Wiesenthal‘, waarbij de rechter is ingekleurd. Bron: Polygoon-Profilti (producent) / Nederlands Instituut voor Beeld en Geluid (beheerder) / ingekleurd door Rudy Marsman, CC BY-SA
Door de computer maar genoeg zwart-wit afbeeldingen te laten zien die correct zijn ingekleurd – mits deze set een goede weergave is van de werkelijkheid – is het goed mogelijk resultaten op te leveren die aardig lijken op wat mensen als waarheidsgetrouw ervaren.
Er is echter wel veel ruimte voor verbetering. Omdat het heel veel rekenkracht kost om het netwerk te trainen, is besloten de resolutie van de video’s te verlagen. Ook wordt elk frame in het geval van video individueel ingekleurd, zonder te kijken naar frames vlak ervoor of erna. In sommige gevallen leidt dit tot verspringende kleuren. Het is gelukkig wel zo dat de rekenkracht van computers al jaren razendsnel oploopt en naar verwachting zal soortgelijke technologie, zoals hier gedemonstreerd, steeds sneller en accurater worden.
De resultaten zijn verbluffend, sommige shots zijn zeer realistisch ingekleurd, terwijl andere shots een meer psychedelisch karakter hebben. Deze zes video’s werden door Rudy ingekleurd:
De psychedelische kleuren van de jaren ‘70 komen (onbedoeld) terug in deze video over het studentenleven op de campus Uilenstede in Amsterdam. Hierin is te zien dat het automatisch inkleuren niet altijd goed gaat. De stukken asfalt en gras lichten rood op en badkamertegels krijgen een blauwe gloed. Toch zien de kamers met oranje en bruine tinten er wel waarheidsgetrouw uit voor deze periode.
De Tour de France begon in 1954 voor het eerst in Nederland. Dat leverde deze mooie beelden op. Het algoritme had wel moeite met de gele trui van etappewinnaar Wout Wagtmans, die krijgt vele kleuren, behalve de gele.
Beelden uit de Tweede Wereldoorlog zijn voornamelijk bekend in zwart-wit. De toevoeging van kleur trekt ze dichter naar het heden. Vooral de indrukwekkende beelden van de verwoeste binnenstad van Groningen komen tot leven met het gebruik van kleur.
Het imposante Paleis voor de Volksvlijt en de bijbehorende galerij was vroeger een bekend gebouw aan het Amsterdamse Frederiksplein. Nadat in 1929 het Paleis afbrandde werd in 1960 ook de bijbehorende galerij gesloopt om plaats te maken voor het nieuwe gebouw van de Nederlandsche Bank. Dit tot verdriet van velen.
In deze video is goed te zien dat het algoritme goed raad weet met personen. De zwart-wit beelden van de bekende nazi-jager Simon Wiesenthal worden hier vrij natuurgetrouw ingekleurd.
Beelden in kleur van het leven in de Amsterdamse binnenstad uit de jaren ‘20 zijn er niet zoveel. Dit ingekleurde filmpje geeft dan ook een interessante kijk in hoe het dagelijks leven er toen moet hebben uitgezien met de nauwe straatjes en de armoede onder de bewoners.
Ondanks de wisselende uitkomst van de toepassing van dit computeralgoritme, laat het wel zien hoe nieuwe technologie historisch materiaal op onverwachte manieren kan verrijken. Het geeft een nieuwe kijk op bestaande beelden. Zeker als deze technologie in de toekomst beter wordt, biedt dit interessante mogelijkheden om ons verleden op nieuwe manieren te leren kennen.
LTV is het televisiestation van het Lowlands festival. Al 12 jaar maakt LTV op uitnodiging van de Lowlands-organisatie sfeerbeelden tijdens het festival. Daarnaast biedt LTV een podium aan makers van film en animatie die aansluiten bij de sfeer van Lowlands. De films zullen gedurende drie dagen met regelmaat op verschillende schermen op het festivalterrein verschijnen. Het project is een samenwerking tussen het Nederlands Instituut voor Beeld en Geluid en LTV. De collectie is gedigitaliseerd in de context van het nationale digitaliseringsproject Beelden voor de Toekomst. LTV wordt gecoördineerd door Captain Video, een productiestudio voor bewegend beeld in Amsterdam.