Tag Archives: experiment

Hoe het verleden er in kleur uitzag (volgens een computer)

Altijd al willen weten hoe historische gebeurtenissen die we kennen van zwart-wit archiefmateriaal er in kleur hadden uitgezien? Rudy Marsman heeft zes van zulke films uit het archief van het Nederlands Instituut voor Beeld en Geluid in laten kleuren door een computeralgoritme. Rudy is masterstudent Information Science aan de Vrije Universiteit en deed voor zijn afstuderen deed hij bij Beeld en Geluid onder meer onderzoek naar het automatisch inkleuren van bewegend archiefmateriaal. Hieronder legt hij uit hoe hij te werk ging:

Als een deel van mijn masterscriptie heb ik gekeken naar de mogelijkheden om automatisch zwart-wit video’s in te kleuren. Recente ontwikkelingen op het gebied van kunstmatige intelligentie hebben het mogelijk gemaakt om een computer zelf te laten inschatten welke kleuren bij een zwart-wit foto of filmfragment passen.

Twee stills uit de film 'Steegjes', waarbij de rechter is ingekleurd. CC BY-SA Twee stills uit de film ‘Steegjes‘, waarbij de rechter is ingekleurd. Bron: Polygoon-Profilti (producent) / Nederlands Instituut voor Beeld en Geluid (beheerder) / ingekleurd door Rudy Marsman, CC BY-SA

De wiskunde hierachter is complex, maar het principe is redelijk simpel: Laat de computer zelf patronen herkennen en daar labels van kleuren aan hangen. In dit geval is gebruik gemaakt van een zogenaamd kunstmatig neuraal netwerk. Dat is een computerprogramma dat gebouwd is om zelflerend te zijn. Het netwerk dat gebruikt werd is getraind op 1 miljoen kleurenfoto’s, die zowel in kleur als in zwart-wit werden ingevoerd. De computer moest gokken welke kleur elke pixel in de foto moest krijgen. Als de computer goed gokte werd deze ‘beloond’, en de computer werd ‘gestraft’ voor het fout gokken. Al snel ontdekte de computer patronen als ‘als ik bovenin de foto gok dat de lucht blauw is word ik beloond’ of ‘alles wat op een boom lijkt moet groen worden ingekleurd’.

Twee stills uit de film 'Actie voor Wiesenthal', waarbij de rechter is ingekleurd. Bron: Polygoon-Profilti (producent) / Nederlands Instituut voor Beeld en Geluid (beheerder) / ingekleurd door Rudy Marsman, CC BY-SA Twee stills uit de film ‘Actie voor Wiesenthal‘, waarbij de rechter is ingekleurd. Bron: Polygoon-Profilti (producent) / Nederlands Instituut voor Beeld en Geluid (beheerder) / ingekleurd door Rudy Marsman, CC BY-SA

Door de computer maar genoeg zwart-wit afbeeldingen te laten zien die correct zijn ingekleurd – mits deze set een goede weergave is van de werkelijkheid – is het goed mogelijk resultaten op te leveren die aardig lijken op wat mensen als waarheidsgetrouw ervaren.

Er is echter wel veel ruimte voor verbetering. Omdat het heel veel rekenkracht kost om het netwerk te trainen, is besloten de resolutie van de video’s te verlagen. Ook wordt elk frame in het geval van video individueel ingekleurd, zonder te kijken naar frames vlak ervoor of erna. In sommige gevallen leidt dit tot verspringende kleuren. Het is gelukkig wel zo dat de rekenkracht van computers al jaren razendsnel oploopt en naar verwachting zal soortgelijke technologie, zoals hier gedemonstreerd, steeds sneller en accurater worden.

De resultaten zijn verbluffend, sommige shots zijn zeer realistisch ingekleurd, terwijl andere shots een meer psychedelisch karakter hebben. Deze zes video’s werden door Rudy ingekleurd:

De psychedelische kleuren van de jaren ‘70 komen (onbedoeld) terug in deze video over het studentenleven op de campus Uilenstede in Amsterdam. Hierin is te zien dat het automatisch inkleuren niet altijd goed gaat. De stukken asfalt en gras lichten rood op en badkamertegels krijgen een blauwe gloed. Toch zien de kamers met oranje en bruine tinten er wel waarheidsgetrouw uit voor deze periode.

De Tour de France begon in 1954 voor het eerst in Nederland. Dat leverde deze mooie beelden op. Het algoritme had wel moeite met de gele trui van etappewinnaar Wout Wagtmans, die krijgt vele kleuren, behalve de gele.

Beelden uit de Tweede Wereldoorlog zijn voornamelijk bekend in zwart-wit. De toevoeging van kleur trekt ze dichter naar het heden. Vooral de indrukwekkende beelden van de verwoeste binnenstad van Groningen komen tot leven met het gebruik van kleur.

Het imposante Paleis voor de Volksvlijt en de bijbehorende galerij was vroeger een bekend gebouw aan het Amsterdamse Frederiksplein. Nadat in 1929 het Paleis afbrandde werd in 1960 ook de bijbehorende galerij gesloopt om plaats te maken voor het nieuwe gebouw van de Nederlandsche Bank. Dit tot verdriet van velen.

In deze video is goed te zien dat het algoritme goed raad weet met personen. De zwart-wit beelden van de bekende nazi-jager Simon Wiesenthal worden hier vrij natuurgetrouw ingekleurd.

Beelden in kleur van het leven in de Amsterdamse binnenstad uit de jaren ‘20 zijn er niet zoveel. Dit ingekleurde filmpje geeft dan ook een interessante kijk in hoe het dagelijks leven er toen moet hebben uitgezien met de nauwe straatjes en de armoede onder de bewoners.

Ondanks de wisselende uitkomst van de toepassing van dit computeralgoritme, laat het wel zien hoe nieuwe technologie historisch materiaal op onverwachte manieren kan verrijken. Het geeft een nieuwe kijk op bestaande beelden. Zeker als deze technologie in de toekomst beter wordt, biedt dit interessante mogelijkheden om ons verleden op nieuwe manieren te leren kennen.

Beeld en Geluid wiki: Collectiekennis als open content

De Beeld en Geluid wiki maakt kennis over de collectie van Beeld en Geluid beschikbaar. Centraal staan films, radioprogramma’s en televisieproducties die in het kader van Beelden voor de Toekomst gedigitaliseerd worden. Op de wiki staan biografieën van personen, een overzicht van hun oeuvre en een beschrijving van programma’s waarin zij te gast of onderwerp van gesprek waren.

Alle informatie op de Beeld en Geluid wiki is – net zoals het toekomstige materiaal op Open Beelden – beschikbaar onder een open content Creative Commons licentie. Het gaat hierbij specifiek om de Naamsvermelding-Gelijk delen variant van Creative Commons. Dankzij deze licentie kan de informatie op de wiki door iedereen worden gekopieerd, veranderd, verspreid en vertoond, onder de enkele voorwaarde dat de naam van de auteur wordt vermeld en dat nieuwe werken onder dezelfde licentie worden aangeboden. Op de wiki zijn ook de uitgebreide voorwaarden te vinden. Voor dit project is bewust voor een licentie met zo weinig mogelijk restricties gekozen, om een zo groot mogelijke publieksparticipatie te stimuleren. Ook maakt deze licentie het mogelijk om aansluiting te vinden bij een groot aantal andere projecten, zoals bijvoorbeeld Wikipedia. Hoewel Open Beelden om creatief hergebruik van het daadwerkelijke archiefmateriaal draait en de wiki zorgt voor contextualisering van collectiekennis, zijn de voordelen van de de Naamsvermelding-Gelijk delen variant van Creative Commons ook voor Open Beelden het overwegen waard.

Gelijk aan hoe Open Beelden zal zijn, is de Beeld en Geluid wiki gebaseerd op open source software. Het gaat hierbij specifiek om de MediaWiki wikisoftware, waar Wikipedia bijvoorbeeld ook op draait. De vrij beschikbare broncode van deze software bespaart in eerste instantie de moeite om het wiel compleet opnieuw uit te hoeven vinden, terwijl het tegelijkertijd relatief simpel is om eventueel gewenste aanpassingen te doen. Daarnaast maakt de beschikbaarheid van de broncode – en hopelijk tevens goede documentatie van de werking van de software – ervoor dat derden in staat worden gesteld om te werken aan verbeteringen van en aanvullingen op de software.

Continue reading

Zuiderzeemuseum zet Amsterdam in ander licht tijdens Museumnacht

Het Zuiderzeemuseum trakteert aanstaande zaterdag tijdens Museumn8 bezoekers op een visuele en interactieve show op de Amsterdamse grachtengordel. Met dit initiatief wijkt het museum af van gebaande paden en vindt het een nieuwe vorm om zijn collectie voor het grote publiek op speelse wijze toegankelijk te maken.

In tegenstelling tot de Amsterdamse musea kiest het Zuiderzeemuseum uit Enkhuizen er voor het publiek tijdens de jaarlijkse Museumn8 zelf op te zoeken. Het Zuiderzeemuseum toont haar collectie aan het grote publiek door diverse beelden te projecteren op omliggende grachtenpanden. Kunstenaar en regisseur Arnout Hulskamp projecteert zaterdag 1 november van 19.00 tot 1.30 uur de door hem gemixte beelden vanaf het water in de vorm van een meer dan levensgrote geprojecteerde fruitmachine. Met een druk op een knop mixt het publiek de digitale collectie en dingt ze tegelijkertijd mee naar diverse prijzen waaronder een overnachting in een huisje in het museumpark van het Zuiderzeemuseum.  

Open Beelden
De projecties zijn een mix van historische en hedendaagse collecties, gecombineerd met archiefbeelden speciaal voor dit experiment beschikbaar gesteld door het Nederlands Instituut voor Beeld en Geluid. Deze samenwerking met het Zuiderzeemuseum is een eerste resultaat van het project Open Beelden, dat het creatief hergebruik van audiovisueel erfgoed wil stimuleren. Open Beelden maakt deel uit van het project Beelden voor de Toekomst, waarin  zes instellingen een belangrijk deel van het audiovisueel erfgoed van Nederland redden door conservering en digitalisering.

Zuiderzeemuseum
Het Zuiderzeemuseum presenteert Nederlandse kunst, cultuur en erfgoed op de grens van land en water. Tentoonstellingen en evenementen leggen verbanden tussen de collectie en hedendaagse ontwikkelingen. Klassieke Hollandse thema’s krijgen een verrassende benadering.

Arnout Hulskamp
Arnout Hulskamp (1978) is een nieuwe-mediakunstenaar, bekend om zijn  interactieve installaties, VJ-optredens en digitale prints. Hulskamp heeft in diverse internationale clubs, musea en galeries performances  gegeven. Met zijn studio Aaiqu werkt hij aan innovatieve  mediatoepassingen voor de culturele sector. Hiervoor ontving hij in 2007 een Gouden Reiger, de belangrijkste Nederlandse prijs voor  audiovisuele en interactieve media.