Why I draw with robots | Sougwen Chung

Translator: Ivana Korom Reviewer: Camille Martínez

Vertaald door: Lisette Feenstra Nagekeken door: Peter van de Ven

Many of us here use technology in our day-to-day.

Velen van ons gebruiken technologie in ons dagelijks leven.

En sommigen van ons zijn in ons werk afhankelijk van technologie.

And some of us rely on technology to do our jobs.

For a while, I thought of machines and the technologies that drive them

Een tijd lang heb ik machines en de technologie erachter gezien

as perfect tools that could make my work more efficient and more productive.

als perfecte middelen om efficiënter en productiever te werken.

But with the rise of automation across so many different industries,

Maar met de opkomst van automatisering in veel industrieën

it led me to wonder:

rees bij mij de vraag:

If machines are starting to be able to do the work

Als machines steeds meer het werk doen

traditionally done by humans,

dat normaal door mensen wordt gedaan,

wat zijn dan de gevolgen voor de mensenhand?

what will become of the human hand?

Hoe beïnvloedt ons streven naar perfectie, precisie en automatisering

How does our desire for perfection, precision and automation

affect our ability to be creative?

onze creatieve vermogens?

In my work as an artist and researcher, I explore AI and robotics

Als kunstenaar en onderzoeker, gebruik ik KI en robotica

to develop new processes for human creativity.

om nieuwe manieren te ontwikkelen voor menselijke creativiteit.

In de afgelopen paar jaar

For the past few years,

I've made work alongside machines, data and emerging technologies.

heb ik werk gemaakt met machines, data en nieuwe technologieën.

Dit komt voort uit een levenslange fascinatie

It's part of a lifelong fascination

voor de dynamiek tussen individuen en systemen

about the dynamics of individuals and systems

and all the messiness that that entails.

en de warboel die daar vaak mee gepaard gaat.

It's how I'm exploring questions about where AI ends and we begin

Zo zoek ik antwoord op de vraag waar KI eindigt en wij beginnen,

en ontwikkel ik werkwijzen

and where I'm developing processes

that investigate potential sensory mixes of the future.

die mogelijke zintuiglijke mengeling voor de toekomst onderzoekt.

I think it's where philosophy and technology intersect.

Dit speelt zich af op het raakvlak van filosofie en technologie.

Doing this work has taught me a few things.

Dit werk heeft me een paar dingen geleerd.

It's taught me how embracing imperfection

Ik heb geleerd dat door imperfectie te accepteren,

can actually teach us something about ourselves.

we dingen kunnen leren over onszelf.

It's taught me that exploring art

Ik heb ook geleerd dat door kunst te verkennen,

can actually help shape the technology that shapes us.

we de technologie die ons vormt beter kunnen maken.

And it's taught me that combining AI and robotics

En het heeft me geleerd dat door KI en robotica te combineren

with traditional forms of creativity -- visual arts in my case --

met traditionele vormen van creativiteit --

in mijn geval beeldende kunst --

can help us think a little bit more deeply

we beter kunnen nadenken

about what is human and what is the machine.

over wat een mens is en wat een machine.

And it's led me to the realization

Hierdoor kwam ik tot de conclusie

that collaboration is the key to creating the space for both

dat samenwerking essentieel is voor het creëren van ruimte voor allebei

as we move forward.

voor de toekomst.

It all started with a simple experiment with machines,

Het begon met een tekenexperiment met machines, genaamd:

called "Drawing Operations Unit: Generation 1."

'Draw Operations Unit: Generation 1'.

I call the machine "D.O.U.G." for short.

Afgekort noem ik de machine 'D.O.U.G.'

Before I built D.O.U.G,

Voordat ik D.O.U.G. bouwde,

I didn't know anything about building robots.

wist ik niets af van het bouwen van robots.

I took some open-source robotic arm designs,

Ik nam een paar opensourceontwerpen voor een robotarm

I hacked together a system where the robot would match my gestures

en hackte het zodanig dat de robot mijn gebaren na zou doen

and follow [them] in real time.

en ze in realtime zou volgen.

The premise was simple:

Het uitgangspunt was simpel:

I would lead, and it would follow.

Ik zou leiden en hij zou me volgen.

I would draw a line, and it would mimic my line.

Ik zou een lijn tekenen en hij zou mijn lijn imiteren.

So back in 2015, there we were, drawing for the first time,

En in 2015 was het zover en tekende we voor het eerst samen

voor een klein publiek in New York.

in front of a small audience in New York City.

The process was pretty sparse --

Het was simpel opgezet --

no lights, no sounds, nothing to hide behind.

geen licht, geen geluid, niets om je achter te verbergen.

Alleen mijn zwetende handen

Just my palms sweating and the robot's new servos heating up.

en de nieuwe servomotoren van de robots die warm werden.

(Laughs) Clearly, we were not built for this.

(Gelach) We zijn hier duidelijk niet voor gemaakt.

But something interesting happened, something I didn't anticipate.

Maar er gebeurde iets interessants, iets dat ik niet verwacht had.

See, D.O.U.G., in its primitive form, wasn't tracking my line perfectly.

Deze eerste versie van D.O.U.G. volgde mijn lijn namelijk niet perfect.

While in the simulation that happened onscreen

Hoewel de simulatie die men op het scherm zag

it was pixel-perfect,

tot op de pixel nauwkeurig was,

in physical reality, it was a different story.

was het in werkelijkheid een heel ander verhaal.

Hij slipte en gleed weg en stippelde en haperde,

It would slip and slide and punctuate and falter,

en ik was gedwongen te reageren.

and I would be forced to respond.

There was nothing pristine about it.

Het was verre van perfect.

And yet, somehow, the mistakes made the work more interesting.

Maar toch maakten de fouten het werk wel een stuk interessanter.

The machine was interpreting my line but not perfectly.

De machine interpreteerde mijn lijn, maar niet zorgvuldig.

And I was forced to respond.

En ik moest daar weer op reageren.

We were adapting to each other in real time.

We pasten ons in realtime op elkaar aan.

And seeing this taught me a few things.

Ik heb hier een aantal dingen van geleerd.

It showed me that our mistakes actually made the work more interesting.

Ik zag dat onze fouten het werk interessanter maakten.

And I realized that, you know, through the imperfection of the machine,

En het was duidelijk dat door de imperfectie van de machine

our imperfections became what was beautiful about the interaction.

het juist de imperfecties waren die de interactie bijzonder maakten.

And I was excited, because it led me to the realization

Ik was enthousiast want ik besefte

dat de schoonheid van mens- en machinesystemen deels voortkomt

that maybe part of the beauty of human and machine systems

is their shared inherent fallibility.

uit de onvolmaaktheid van beiden.

Met de tweede generatie van D.O.U.G.

For the second generation of D.O.U.G.,

wilde ik dit idee verder onderzoeken.

I knew I wanted to explore this idea.

But instead of an accident produced by pushing a robotic arm to its limits,

Maar in plaats van de robotarm te dwingen tot het uiterste te gaan,

I wanted to design a system that would respond to my drawings

wilde ik een systeem ontwerpen dat op een verrassende manier

in ways that I didn't expect.

op mijn tekeningen zou reageren.

So, I used a visual algorithm to extract visual information

Dus gebruikte ik een visueel algoritme om beeldinformatie te halen

from decades of my digital and analog drawings.

uit tientallen jaren aan digitale en analoge tekeningen.

I trained a neural net on these drawings

Met de tekeningen trainde ik een neuraal netwerk,

in order to generate recurring patterns in the work

zodat het terugkerende figuren in het werk kon reproduceren

that were then fed through custom software back into the machine.

die vervolgens met aangepaste software weer terug in de machine gevoerd werden.

I painstakingly collected as many of my drawings as I could find --

Ik verzamelde zoveel mogelijk tekeningen --

finished works, unfinished experiments and random sketches --

complete werken, onvoltooide experimenten en willekeurige sketches --

and tagged them for the AI system.

en gaf ze labels voor het KI-systeem.

And since I'm an artist, I've been making work for over 20 years.

En als kunstenaar heb ik in twintig jaar veel werk geproduceerd.

Collecting that many drawings took months,

Om al die tekeningen te verzamelen, kostte maanden werk. Een hele klus.

it was a whole thing.

And here's the thing about training AI systems:

Wat blijkt als je KI-systemen traint:

it's actually a lot of hard work.

het kost ongelofelijk veel tijd.

A lot of work goes on behind the scenes.

Het meeste werk gebeurt achter de schermen.

But in doing the work, I realized a little bit more

Maar door ermee bezig te zijn, leerde ik wat meer

about how the architecture of an AI is constructed.

over hoe het ontwerp van KI in elkaar steekt.

And I realized it's not just made of models and classifiers

Ik kwam erachter dat het niet alleen bestaat uit modellen en klassen

for the neural network.

voor het neurale netwerk,

But it's a fundamentally malleable and shapable system,

maar dat het wezenlijk een flexibel en plastisch systeem is,

one in which the human hand is always present.

waarbij de mensenhand altijd aanwezig is.

It's far from the omnipotent AI we've been told to believe in.

Het lijkt totaal niet op de almachtige KI die ons wordt voorgeschoteld.

So I collected these drawings for the neural net.

Dus ik verzamelde de tekeningen voor het neurale netwerk.

And we realized something that wasn't previously possible.

We ontdekten iets dat nog niet eerder mogelijk was.

My robot D.O.U.G. became a real-time interactive reflection

Mijn robot D.O.U.G. werd een interactieve weergave in realtime

van al het werk dat ik in mijn hele leven had gemaakt.

of the work I'd done through the course of my life.

The data was personal, but the results were powerful.

De data was persoonlijk, maar de resultaten waren indrukwekkend.

And I got really excited,

En ik was enthousiast,

want ik realiseerde me dat machines niet alleen hulpmiddelen konden zijn,

because I started thinking maybe machines don't need to be just tools,

but they can function as nonhuman collaborators.

maar dat ze ook zouden kunnen werken als niet-menselijke medewerkers.

And even more than that,

En nog een stap verder,

misschien zit de toekomst van menselijke creativiteit

I thought maybe the future of human creativity

isn't in what it makes

niet in wat gemaakt wordt,

maar hoe door samenwerking nieuwe manieren van produceren ontstaan.

but how it comes together to explore new ways of making.

Dus als D.O.U.G._1 de spieren was

So if D.O.U.G._1 was the muscle,

and D.O.U.G._2 was the brain,

en D.O.U.G._2 de hersenen,

dan zie ik D.O.U.G_3 als de familie.

then I like to think of D.O.U.G._3 as the family.

I knew I wanted to explore this idea of human-nonhuman collaboration at scale.

Ik wilde dit idee van een samenwerking tussen mens en machine

op grote schaal onderzoeken.

So over the past few months,

De afgelopen paar maanden

I worked with my team to develop 20 custom robots

werkte ik dus met mijn team aan twintig op maat gemaakte robots

that could work with me as a collective.

om mee samen te werken.

They would work as a group,

Zij vormden een groep

en samen zouden we werken met heel New York.

and together, we would collaborate with all of New York City.

Ik was enorm geïnspireerd door de Stanford onderzoeker Fei-Fei Li,

I was really inspired by Stanford researcher Fei-Fei Li,

die zei: "Als we machines willen leren na te denken,

who said, "if we want to teach machines how to think,

we need to first teach them how to see."

moeten we ze eerst leren zien."

It made me think of the past decade of my life in New York,

Ik moest denken aan mijn leven in New York de afgelopen tien jaar,

and how I'd been all watched over by these surveillance cameras around the city.

en hoe we overal in de stad door camera's in de gaten werden gehouden.

And I thought it would be really interesting

Ik dacht dat het interessant kon zijn

om met hen mijn robots te leren zien.

if I could use them to teach my robots to see.

So with this project,

Door dit project

I thought about the gaze of the machine,

dacht ik na over de blik van de machine,

and I began to think about vision as multidimensional,

en begon ik zien te beschouwen als multidimensionaal,

als beelden ergens vandaan.

as views from somewhere.

We collected video

We verzamelden video's

van openbare camera's op internet

from publicly available camera feeds on the internet

van voetgangers op de stoep,

of people walking on the sidewalks,

cars and taxis on the road,

auto's en taxi's op de weg,

all kinds of urban movement.

allerlei soorten bewegingen op straat.

We trained a vision algorithm on those feeds

We leerden een visueel algoritme werken met deze invoer,

based on a technique called "optical flow,"

gebaseerd op de techniek 'optische stroom',

om de gezamenlijke dichtheid,

to analyze the collective density,

richting, stilstand en snelheid van stadsbewegingen te analyseren.

direction, dwell and velocity states of urban movement.

Our system extracted those states from the feeds as positional data

Ons systeem haalde die standen uit het materiaal als positionele data

and became pads for my robotic units to draw on.

en hier konden mijn robots mee aan de slag om te tekenen.

Instead of a collaboration of one-to-one,

In plaats van een een-op-een samenwerking

we made a collaboration of many-to-many.

werd het een samenwerking van velen.

By combining the vision of human and machine in the city,

Door de visie van de mens en die van de machine te combineren,

konden we opnieuw bepalen wat een landschapsschilderij kan zijn.

we reimagined what a landscape painting could be.

Throughout all of my experiments with D.O.U.G.,

In al mijn experimenten met D.O.U.G.

was geen één voorstelling hetzelfde.

no two performances have ever been the same.

And through collaboration,

Door samenwerking

we create something that neither of us could have done alone:

ontstaat er iets dat geen van beiden op zichzelf zou kunnen:

we explore the boundaries of our creativity,

we verkennen de grenzen van onze creativiteit,

human and nonhuman working in parallel.

mens en machine werkend zij aan zij.

I think this is just the beginning.

Ik denk dat dit pas het begin is.

This year, I've launched Scilicet,

Dit jaar lanceerde ik de 'Scillet',

my new lab exploring human and interhuman collaboration.

een onderzoek naar menselijke- en intermenselijke samenwerking in mijn lab.

We're really interested in the feedback loop

We zijn vooral geïnteresseerd in de terugkoppeling

between individual, artificial and ecological systems.

tussen individuele-, kunstmatige- en ecologische systemen.

We're connecting human and machine output

We vergelijken de output van mens en machine

to biometrics and other kinds of environmental data.

met biometrie en andere ecologische data.

We're inviting anyone who's interested in the future of work, systems

Iedereen die geïnteresseerd is in de toekomst van werk, systemen

and interhuman collaboration

en andere intermenselijke samenwerking is welkom mee te doen met ons onderzoek.

to explore with us.

We know it's not just technologists that have to do this work

Niet alleen de technologen moeten hiervoor aan het werk,

we spelen hier allemaal een rol in.

and that we all have a role to play.

We believe that by teaching machines

Wij denken dat door machines te leren

how to do the work traditionally done by humans,

hoe ze het werk moeten doen dat normaal door mensen wordt gedaan,

we can explore and evolve our criteria

we kunnen onderzoeken en meten

of what's made possible by the human hand.

wat een mensenhand mogelijk heeft gemaakt.

And part of that journey is embracing the imperfections

En onderdeel van deze reis is het omarmen van deze imperfecties

and recognizing the fallibility of both human and machine,

en de feilbaarheid van zowel mens als machine te accepteren,

in order to expand the potential of both.

om zo de potentie van beiden te vergroten.

Today, I'm still in pursuit of finding the beauty

Op dit moment ben ik nog steeds bezig om schoonheid

in human and nonhuman creativity.

in menselijke- en niet-menselijke creativiteit te vinden.

In the future, I have no idea what that will look like,

Ik heb geen idee hoe dit er in de toekomst uit zal zien,

but I'm pretty curious to find out.

maar ik ben zeer benieuwd.

Thank you.

Bedankt.

(Applause)

(Applaus)