How computers are learning to be creative | Blaise Agüera y Arcas

מתרגם: Ido Dekkers מבקר: Zeeva Livshitz

So, I lead a team at Google that works on machine intelligence;

אז, אני מוביל צוות בגוגל שעובד על למידה חישובית;

in other words, the engineering discipline of making computers and devices

כלומר, תחום ההנדסה שגורם למחשבים ומכשירים

able to do some of the things that brains do.

לעשות כמה מהדברים שמוחותינו עושים.

And this makes us interested in real brains

וזה גורם לנו להתעניין במוחות אמיתיים

and neuroscience as well,

וגם במדעי המוח,

and especially interested in the things that our brains do

ובמיוחד בדברים שבביצועם מוחותינו

that are still far superior to the performance of computers.

עדיין עולים בהרבה על מחשבים.

Historically, one of those areas has been perception,

מבחינה היסטורית, אחד התחומים האלה הוא תפיסה,

the process by which things out there in the world --

ההליך שדרכו כל הדברים שיש בעולם החיצוני --

sounds and images --

צלילים ותמונות --

can turn into concepts in the mind.

נעשים למושגים בשכל.

This is essential for our own brains,

זה חיוני למוחות שלנו,

and it's also pretty useful on a computer.

וגם די שימושי במחשב.

The machine perception algorithms, for example, that our team makes,

האלגוריתמים לתפיסה חישובית, לדוגמא, שהצוות שלנו מוציא,

are what enable your pictures on Google Photos to become searchable,

הם מה שמאפשר לתמונותיכם בגוגל פוטוז להיות ניתנות-חיפוש,

based on what's in them.

על פי תוכנן.

The flip side of perception is creativity:

הפן השני של תפיסה הוא יצירתיות:

turning a concept into something out there into the world.

הפיכת מושג לעצם בעולם.

So over the past year, our work on machine perception

וכך במשך השנה האחרונה, עבודתנו על תפיסה חישובית

has also unexpectedly connected with the world of machine creativity

התחברה באופן לא צפוי לעולם היצירתיות החישובית,

and machine art.

ולאמנות ממוחשבת.

I think Michelangelo had a penetrating insight

אני חושב שלמיכלאלג'לו הייתה תובנה חודרת

into to this dual relationship between perception and creativity.

לגבי היחס הדואלי הזה שבין תפיסה ליצירתיות.

This is a famous quote of his:

זאת ציטטה מפורסמת שלו:

"Every block of stone has a statue inside of it,

"לכל אבן יש פסל בתוכה,

and the job of the sculptor is to discover it."

ועבודת הפסל לגלות אותו."

So I think that what Michelangelo was getting at

אז, אני חושב שמיכלאנג'לו התכוון לזה

is that we create by perceiving,

שאנחנו יוצרים באמצעות תפיסה,

and that perception itself is an act of imagination

ושתפיסה עצמה היא מעשה של דמיון

and is the stuff of creativity.

והיא חומר היצירתיות.

The organ that does all the thinking and perceiving and imagining,

האיבר שמבצע את כל המחשבה והתפיסה והדמיון,

of course, is the brain.

הוא כמובן המוח.

And I'd like to begin with a brief bit of history

ואני רוצה לפתוח בקטע קצר של היסטוריה

about what we know about brains.

על מה שאנחנו יודעים על המוח.

Because unlike, say, the heart or the intestines,

כי לא כמו, כגון, הלב או המעיים,

you really can't say very much about a brain by just looking at it,

אי אפשר לומר הרבה על המוח פשוט מלהסתכל עליו,

at least with the naked eye.

לפחות, בעין בלתי מזויינת.

The early anatomists who looked at brains

האנטומיסטים המוקדמים שהסתכלו על מוחות

gave the superficial structures of this thing all kinds of fanciful names,

קראו למבנים השטחיים של הדבר הזה בכל מיני שמות דמיוניים,

like hippocampus, meaning "little shrimp."

כגון היפוקמפוס, שמשמעו "חסילון קטן."

But of course that sort of thing doesn't tell us very much

אך בבירור דבר מסוג זה לא מספר לנו הרבה

about what's actually going on inside.

על מה שבאמת קורה בפנים.

The first person who, I think, really developed some kind of insight

האדם הראשון, לדעתי, שבפועל פיתח איזה מין של הבנה

into what was going on in the brain

של מה שבאמת קורה בתוך המוח

was the great Spanish neuroanatomist, Santiago Ramón y Cajal,

היה הניורואנטומיסט הספרדי הגדול, סנטיאגו רמון אי קחאל,

in the 19th century,

במאה התשע-עשרה,

who used microscopy and special stains

שהשתמש במיקרוסקופ וצבעים מיוחדים

that could selectively fill in or render in very high contrast

שיכלו לדמות בבררנות ובניגוד גבוה

the individual cells in the brain,

תאים יחידים במוח,

in order to start to understand their morphologies.

כדי להתחיל להבין את המורפולוגיה שלהם.

And these are the kinds of drawings that he made of neurons

ואלה סוגי הציורים שהוא צייר של תאי עצב

in the 19th century.

במאה התשע-עשרה.

This is from a bird brain.

זה מתוך מוח של ציפור.

And you see this incredible variety of different sorts of cells,

ותראו את המגוון המדהים הזה של תאים מסוגים שונים,

even the cellular theory itself was quite new at this point.

אפילו תיאוריית התא עצמה הייתה חדשה למדי בעת הזו

And these structures,

והמבנים האלה,

these cells that have these arborizations,

התאים האלה שיש להם הסתעפויות כאלה

these branches that can go very, very long distances --

וענפים כאלה שמסוגלים להאריך מרחקים רבים --

this was very novel at the time.

זה היה מאד חדשני ומקורי בתקופה זו.

They're reminiscent, of course, of wires.

הם מזכירים חוטים כמובן.

That might have been obvious to some people in the 19th century;

אפשר שכבר תפסו כך כמה אנשים במאה התשע-עשרה;

the revolutions of wiring and electricity were just getting underway.

מהפכות החיווט והחישמול בדיוק החלו.

But in many ways,

אבל מבחינות רבות,

these microanatomical drawings of Ramón y Cajal's, like this one,

הציורים המיקרו-אנטומיים האלה של רמון אי קחאל, כגון זה,

they're still in some ways unsurpassed.

מבחינת-מה עוד לא הושגו.

We're still more than a century later,

ואנחנו מאה שנים אחרי כן,

trying to finish the job that Ramón y Cajal started.

מנסים לגמור את העבודה בו רמון אי קחאל החל.

These are raw data from our collaborators

אלה הם נתונים לא-מעובדים ממשתפי הפעולה שלנו

at the Max Planck Institute of Neuroscience.

במכון מקס פלאנק למדעי מוח.

And what our collaborators have done

ומה שמשתפי הפעולה שלנו עשו

is to image little pieces of brain tissue.

זה לדמת חלקיקים קטנים של רקמה מוחית.

The entire sample here is about one cubic millimeter in size,

כל הדגימה הינה קרובה בגודלה למילימטר מעוקב אחד,

and I'm showing you a very, very small piece of it here.

ואני מראה לכם חלק מאד קטן ממנה פה.

That bar on the left is about one micron.

הפס הזה שלצד שמאל בגודל מיקרון אחד בערך.

The structures you see are mitochondria

המבנים שאתם רואים הם מיטוכונדריה

that are the size of bacteria.

ששווים בגודלם לחיידק.

And these are consecutive slices

ואלה פרוסות עוקבות

through this very, very tiny block of tissue.

בתוך הגוש הקטנטן מאד הזה של רקמה.

Just for comparison's sake,

רק לשם השוואה,

the diameter of an average strand of hair is about 100 microns.

קוטר קווצה ממוצעת של שיער היא כמאה מיקרון.

So we're looking at something much, much smaller

וכך אנחנו מתבוננים במשהו הרבה יותר זעיר

than a single strand of hair.

משערה אחת.

And from these kinds of serial electron microscopy slices,

ועל פי כל הסוגים האלה של פרוסות סדרתיות מוגדלות מיקרוסקופ-אלקטרוני,

one can start to make reconstructions in 3D of neurons that look like these.

אפשר להתחיל בשיחזורים תלת-ממדיים של תאי עצב, הנראים ככה.

So these are sort of in the same style as Ramón y Cajal.

ובכן, אלה נוהגים על פי אותו סגנון בקירוב של רמון אי קחאל.

Only a few neurons lit up,

רק תאי עצב אחדים נדלקו,

because otherwise we wouldn't be able to see anything here.

אחרת לא היינו יכולים לראות פה שום דבר.

It would be so crowded,

יהיה כל כך צפוף,

so full of structure,

כל כך מלא מבנים,

of wiring all connecting one neuron to another.

מלא חיווט המקשר תאי עצב אחד לשני.

So Ramón y Cajal was a little bit ahead of his time,

אז רמון אי קחאל במידה הקדים את זמנו,

and progress on understanding the brain

והתקדמות בהבנת המוח

proceeded slowly over the next few decades.

התקדמה לאט לאט במשך העשורים הבאים.

But we knew that neurons used electricity,

אבל ידענו שתאי עצב עשו שימוש בחשמל,

and by World War II, our technology was advanced enough

ועד מלחמת העולם השנייה, הטכנולוגיה שלנו התקדמה דיה

to start doing real electrical experiments on live neurons

כדי להתחיל ניסויים חשמליים אמיתיים בתאי עצב חיים

to better understand how they worked.

בשביל להבין טוב יותר כיצד הם עבדו.

This was the very same time when computers were being invented,

זה אותו הזמן שמחשבים הומצאו לראשונה,

very much based on the idea of modeling the brain --

ממש בהתבסס על הרעיון של בניית דגם המוח --

of "intelligent machinery," as Alan Turing called it,

של "מנגנון נבון," כמו שאלן טיורינג כינה אותו,

one of the fathers of computer science.

אחד מאבות מדעי המחשב.

Warren McCulloch and Walter Pitts looked at Ramón y Cajal's drawing

ווארן מקולוק ווואלטר פיטס הביטו בציורו של רמון אי קחאל

of visual cortex,

של קליפת הראייה,

which I'm showing here.

שאותו אני מראה פה.

This is the cortex that processes imagery that comes from the eye.

זאת הקליפה שמעבדת דימויים המגיעים מהעין.

And for them, this looked like a circuit diagram.

ומבחינתם, זה נראה כמו דיאגרמת מעגל חשמלי.

So there are a lot of details in McCulloch and Pitts's circuit diagram

לכן יש הרבה פרטים בדיאגרמת המעגל של מקולוק ופיטס

that are not quite right.

שאינם לגמרי נכונים.

But this basic idea

אבל הרעיון המרכזי הזה

that visual cortex works like a series of computational elements

שקליפת הראייה עובדת כסדרה של רכיבים חישוביים

that pass information one to the next in a cascade,

המעבירים מידע אחד לרעהו במפל,

is essentially correct.

בעיקרו של דבר נכון.

Let's talk for a moment

בואו נדבר רגע

about what a model for processing visual information would need to do.

על מה שדגם לעיבוד מידע חזותי צריך לעשות.

The basic task of perception

המשימה היסודית של תפיסה

is to take an image like this one and say,

היא החזקת תמונה כזו שמשמאל ולאמר כי

"That's a bird,"

"זאת ציפור,"

which is a very simple thing for us to do with our brains.

היא דבר מאד פשוט לעשות בעזרת מוחותינו.

But you should all understand that for a computer,

אבל צריכים להבין שעבור מחשבים,

this was pretty much impossible just a few years ago.

זה היה כמעט בלתי אפשרי רק לפני כמה שנים.

The classical computing paradigm

במסגרת הפרדיגמה החישובית הקלאסית

is not one in which this task is easy to do.

אין זאת משימה קלת-ביצוע.

So what's going on between the pixels,

אז מה שקורה בין הפיקסלים,

between the image of the bird and the word "bird,"

בין דמות הציפור לבין המילה "ציפור,"

is essentially a set of neurons connected to each other

ביסוד הוא התקשרות בין מערכת תאי עצב מקושרים

in a neural network,

זה לזה ברשת עצבית,

as I'm diagramming here.

כפי שאני משרטט פה.

This neural network could be biological, inside our visual cortices,

הרשת העצבית יכולה להיות ביולוגית, בתוך קליפתנו הראייתית,

or, nowadays, we start to have the capability

או, כיום, מתחילה להיות לנו היכולת

to model such neural networks on the computer.

לבנות דגמים של רשתות אלה במחשב.

And I'll show you what that actually looks like.

ואראה לכם איך זה נראה באמת.

So the pixels you can think about as a first layer of neurons,

אז אתם יכולים לחשוב על הפיקסלים כשכבה הראשונה של ניורונים,

and that's, in fact, how it works in the eye --

וזה, למעשה, איך שזה עובד בעין --

that's the neurons in the retina.

אלה הניורונים ברשתית.

And those feed forward

ואלה מזינים הלאה

into one layer after another layer, after another layer of neurons,

לתוך שכבה אחת אחרי אחרת אחרי הבאה של ניורונים,

all connected by synapses of different weights.

כולם מחוברים על ידי סינפסות במשקלים שונים.

The behavior of this network

ההתנהגות של הרשת הזו

is characterized by the strengths of all of those synapses.

מאופיינת על ידי הכוחות של כל הסינפסות האלה.

Those characterize the computational properties of this network.

אלה מאפיינים את התכונות המחשוביות של הרשת הזו.

And at the end of the day,

ובסופו של יום,

you have a neuron or a small group of neurons

יש לכם ניורון או קבוצה קטנה של ניורונים

that light up, saying, "bird."

שנדלקים, ואומרים, "ציפור."

Now I'm going to represent those three things --

עכשיו אני עומד לייצג את שלושת הדברים האלה --

the input pixels and the synapses in the neural network,

פיקסל הקלט והסינפסות ברשתות העצביות,

and bird, the output --

וציפור, הפלט --

by three variables: x, w and y.

על ידי שלושה משתנים: X, W ו Y.

There are maybe a million or so x's --

יש אולי מליון Xים בערך --

a million pixels in that image.

מליון פיקסלים בתמונה הזו.

There are billions or trillions of w's,

יש מיליארדים או טריליונים של W,

which represent the weights of all these synapses in the neural network.

שמייצגים את המשקל של כל הסינפסות האלו ברשתות העצביות.

And there's a very small number of y's,

ויש מספר מאוד קטן של Y,

of outputs that that network has.

של פלטים שיש לרשת הזו.

"Bird" is only four letters, right?

"ציפור " היא רק חמש אותיות, נכון?

So let's pretend that this is just a simple formula,

אז בואו נעמיד פנים שזו רק נוסחה פשוטה,

x "x" w = y.

x "x" w = y.

I'm putting the times in scare quotes

אני שם את הכפול בגרשיים

because what's really going on there, of course,

בגלל שמה שבאמת מתרחש פה, כמובן,

is a very complicated series of mathematical operations.

זה סדרה מאוד מורכבת של פעולות מתמטיות.

That's one equation.

זו משוואה אחת.

There are three variables.

יש שלושה משתנים.

And we all know that if you have one equation,

וכולנו יודעים שאם יש לכם משוואה אחת,

you can solve one variable by knowing the other two things.

אתם יכולים לפתור משתנה אחד אם יודעים את שני הדברים האחרים.

So the problem of inference,

אז הבעיה של הסקה,

that is, figuring out that the picture of a bird is a bird,

שהיא, להבין שהתמונה של הציפור היא ציפור,

is this one:

היא זו:

it's where y is the unknown and w and x are known.

פה Y הוא המשתנה ו W ו X ידועים.

You know the neural network, you know the pixels.

אתם יודעים את הרשת העצבית, אתם יודעים את הפיקסלים.

As you can see, that's actually a relatively straightforward problem.

כמו שאתם יכולים לראות, זו למעשה בעיה די פשוטה.

You multiply two times three and you're done.

אתם מכפילים שתיים כפול שלוש וסיימתם.

I'll show you an artificial neural network

אני אראה לכם רשת עצבית מלאכותית

that we've built recently, doing exactly that.

שבנינו לאחרונה, ועשינו בדיוק את זה.

This is running in real time on a mobile phone,

זה רץ בזמן אמת על טלפון נייד,

and that's, of course, amazing in its own right,

וזה, כמובן, מדהים בפני עצמו,

that mobile phones can do so many billions and trillions of operations

הטלפונים הניידים יכולים לעשות כל כך הרבה מליארדים וטריליונים של פעולות

per second.

לשניה.

What you're looking at is a phone

מה שאתם רואים זה טלפון

looking at one after another picture of a bird,

מביט בתמונות של ציפורים אחת אחרי השניה,

and actually not only saying, "Yes, it's a bird,"

ולמעשה לא רק אומר, "כן, זו ציפור,"

but identifying the species of bird with a network of this sort.

אלא מזהה את המין של הציפור עם רשת מסוג כזה.

So in that picture,

אז בתמונה הזו,

the x and the w are known, and the y is the unknown.

ה X וה W ידועים, וה Y לא ידוע.

I'm glossing over the very difficult part, of course,

אני מרפרף על החלקים הממש קשים כמובן,

which is how on earth do we figure out the w,

שזה איך בעצם אנחנו מגלים את ה W,

the brain that can do such a thing?

המוח שיכול לעשות כזה דבר?

How would we ever learn such a model?

איך אי פעם נלמד מודל כזה?

So this process of learning, of solving for w,

אז התהליך הזה של למידה, או פתירת ה W,

if we were doing this with the simple equation

אם היינו עושים את זה עם משוואות פשוטות

in which we think about these as numbers,

בהן אנחנו חושבים על אלה כמספרים,

we know exactly how to do that: 6 = 2 x w,

אנחנו יודעים בדיוק איך לעשות את זה: 6 = 2 *w,

well, we divide by two and we're done.

ובכן, אנחנו מחלקים בשניים וסיימנו.

The problem is with this operator.

הבעיה היא עם הפעולה הזו.

So, division --

אז, חלוקה --

we've used division because it's the inverse to multiplication,

השתמשו בחלוקה בגלל שהיא ההפך מכפל,

but as I've just said,

אבל כמו שכרגע אמרתי,

the multiplication is a bit of a lie here.

ההכפלה היא מעט שקר פה.

This is a very, very complicated, very non-linear operation;

זו פעולה מאוד מאוד מורכבת, מאוד לא לינארית;

it has no inverse.

אין לה פעולה הופכית.

So we have to figure out a way to solve the equation

אז אנחנו צריכים למצוא דרך לפתור את המשוואה

without a division operator.

בלי פעולת החילוק.

And the way to do that is fairly straightforward.

והדרך לעשות את זה היא די ישירה.

You just say, let's play a little algebra trick,

אתם פשוט אומרים, בואו נשחק בטריק אלגבראי פשוט,

and move the six over to the right-hand side of the equation.

ונעביר את השש לצד ימין של המשוואה.

Now, we're still using multiplication.

עכשיו, אנחנו עדיין משתמשים בכפל.

And that zero -- let's think about it as an error.

והאפס הזה -- בואו נחשוב עליו כשגיאה.

In other words, if we've solved for w the right way,

במילים אחרות, אם פתרנו עבור W נכון,

then the error will be zero.

אז השגיאה תהיה אפס.

And if we haven't gotten it quite right,

ואם זה לא יצא לנו ממש נכון,

the error will be greater than zero.

השגיאה תהיה גדולה מאפס.

So now we can just take guesses to minimize the error,

אז עכשיו אנחנו יכולים פשוט לנחש כדי להקטין את השגיאה,

and that's the sort of thing computers are very good at.

וזה סוג הדבר שמחשבים ממש טובים בו.

So you've taken an initial guess:

אז לקחתם ניחוש ראשוני:

what if w = 0?

מה אם W=0?

Well, then the error is 6.

ובכן, אז השגיאה היא 6.

What if w = 1? The error is 4.

מה עם W =1? השגיאה היא 4.

And then the computer can sort of play Marco Polo,

ואז המחשב יכול לשחק סוג של מרקו פולו,

and drive down the error close to zero.

ולהוריד את השגיאה קרוב לאפס.

As it does that, it's getting successive approximations to w.

וכשהוא עושה את זה, הוא מקבל קרובים עוקבים ל W.

Typically, it never quite gets there, but after about a dozen steps,

ובאופן טיפוסי, הוא לעולם לא ממש מגיע לשם, אבל אחרי בערך שנים עשר צעדים,

we're up to w = 2.999, which is close enough.

אנחנו מגיעים ל W = 2.999, שזה קרוב מספיק.

And this is the learning process.

וזה תהליך הלמידה.

So remember that what's been going on here

אז זכרו שמה שמתרחש פה

is that we've been taking a lot of known x's and known y's

זה שלקחנו הרבה X ידועים ו Y ידועים

and solving for the w in the middle through an iterative process.

ופתרנו עבור W במרכז דרך תהליך לולאתי.

It's exactly the same way that we do our own learning.

זו בדיוק אותה דרך שאנחנו עושים את הלמידה בעצמנו.

We have many, many images as babies

יש לנו הרבה הרבה תמונות כתינוקות

and we get told, "This is a bird; this is not a bird."

ואומרים לנו, "זו ציפור; זו לא ציפור."

And over time, through iteration,

ובמשך הזמן, דרך חזרה,

we solve for w, we solve for those neural connections.

אנחנו פותרים עבור W, אנחנו פותרים עבור החיבורים העצביים האלה.

So now, we've held x and w fixed to solve for y;

אז עכשיו, החזקנו את X ואת W קבועים כדי לפתור עבור Y;

that's everyday, fast perception.

זו תפישה מהירה, יום יומית.

We figure out how we can solve for w,

הבנו איך אנחנו יכולים לפתור עבור W,

that's learning, which is a lot harder,

זה למידה, שהיא הרבה יותר קשה,

because we need to do error minimization,

בגלל שאנחנו צריכים לעשות מזעור שגיאות,

using a lot of training examples.

בשימוש בהרבה דוגמאות אימון.

And about a year ago, Alex Mordvintsev, on our team,

ולפני בערך שנה, אלכס מורדבינטסב, בצוות שלנו,

decided to experiment with what happens if we try solving for x,

החליט להתנסות עם מה שקורה אם אנחנו מנסים לפתור עבור X,

given a known w and a known y.

בהתחשב ב W ו Y ידועים.

In other words,

במילים אחרות,

you know that it's a bird,

אתם יודעים שזו ציפור,

and you already have your neural network that you've trained on birds,

וכבר יש לכם את הרשת העצבית שאימנתם על ציפורים,

but what is the picture of a bird?

אבל מה היא התמונה של הציפור?

It turns out that by using exactly the same error-minimization procedure,

מסתבר שבשימוש בדיוק באותו תהליך מזעור שגיאות,

one can do that with the network trained to recognize birds,

שאפשר לעשות עם רשת שמאומנת להכיר ציפורים,

and the result turns out to be ...

ומסתבר שהתוצאה היא...

a picture of birds.

תמונה של ציפורים.

So this is a picture of birds generated entirely by a neural network

אז זו תמונה של ציפורים שמייוצרת לגמרי על ידי רשת עצבית

that was trained to recognize birds,

שאומנה להכיר ציפורים,

just by solving for x rather than solving for y,

פשוט על ידי פיתרון ל X במקום לפתור ל Y,

and doing that iteratively.

ולעשות את זה בחזרתיות.

Here's another fun example.

הנה דוגמה כיפית נוספת.

This was a work made by Mike Tyka in our group,

זו היתה עבודה שנעשתה על ידי מייק טייקה בקבוצה שלנו,

which he calls "Animal Parade."

שנקראה "תהלוכת החיות."

It reminds me a little bit of William Kentridge's artworks,

זה מזכיר לי מעט את האמנות של ווליאם קמטרידג',

in which he makes sketches, rubs them out,

בה הוא יוצר איורים, מוחק אותם,

makes sketches, rubs them out,

יוצר איורים, מוחק אותם,

and creates a movie this way.

ויוצר סרט בדרך זו.

In this case,

במקרה הזה,

what Mike is doing is varying y over the space of different animals,

מה שמייק עושה זה לשנות את Y במרחב של חיות שונות,

in a network designed to recognize and distinguish

ברשת שמתוכננת להכיר ולהבחין

different animals from each other.

בין חיות שונות.

And you get this strange, Escher-like morph from one animal to another.

ואתם מקבלים את הסוג במוזר הזה של שינויים כמו של אשר, מחיה אחת לאחרת.

Here he and Alex together have tried reducing

פה הוא ואלכס יחד ניסו להפחית

the y's to a space of only two dimensions,

את ה Y לחלל של רק שני מימדים,

thereby making a map out of the space of all things

לכן הם יוצרים מפה מהחלל של כל הדברים

recognized by this network.

שמוכרים על ידי הרשת הזו.

Doing this kind of synthesis

לעשות סוג כזה של סינטזה

or generation of imagery over that entire surface,

או יצירה של תמונות על פני כל המשטח,

varying y over the surface, you make a kind of map --

שמשנים את Y על המשטח, אתם עושים סוג של מפה --

a visual map of all the things the network knows how to recognize.

מפה ויזואלית של כל הדברים שהרשת יודעת איך להכיר.

The animals are all here; "armadillo" is right in that spot.

החיות כולן פה; "ארמדילו" בדיוק בנקודה הזו בנקודה ההיא.

You can do this with other kinds of networks as well.

אתם יכולים לעשות זאת גם עם סוגים אחרים של רשתות.

This is a network designed to recognize faces,

זו רשת שמתוכננת להכיר פרצופים,

to distinguish one face from another.

כדי להבחין בין פרצוף אחד לאחר.

And here, we're putting in a y that says, "me,"

ופה, אנחנו שמים את ה Y שאומר, "אני,"

my own face parameters.

הפרמטרים של הפנים שלי.

And when this thing solves for x,

וכשהדבר הזה פותר ל X,

it generates this rather crazy,

הוא יוצר תמונה די משוגעת,

kind of cubist, surreal, psychedelic picture of me

סוג של תמונה קוביסטית, סוראליסטית, ופסיכדלית שלי

from multiple points of view at once.

ממספר נקודות צפיה יחד.

The reason it looks like multiple points of view at once

הסיבה שזה נראה כמו מספר רב של נקודות מבט יחד

is because that network is designed to get rid of the ambiguity

זה בגלל שהרשת הזו מעוצבת להפתר מדו-משמעות

of a face being in one pose or another pose,

של פנים שבפוזה אחת או אחרת,

being looked at with one kind of lighting, another kind of lighting.

כשמסתכלים עליהם עם סוג אחד של תאורה, או סוג אחר של תאורה.

So when you do this sort of reconstruction,

אז כשאתם עושים סוג זה של בנייה מחדש,

if you don't use some sort of guide image

אם אתם לא משתמשים בסוג מסווים של תמונת הנחייה

or guide statistics,

או סטטיסטיקה מנחה,

then you'll get a sort of confusion of different points of view,

אז אתם תקבלו סוג של בלבול מנקודות מבט שונות,

because it's ambiguous.

בגלל שזה דו משמעי.

This is what happens if Alex uses his own face as a guide image

זה מה שקורה אם אלכס משתמש בפנים של עצמו כתמונה מנחה

during that optimization process to reconstruct my own face.

במהלך תהליך האופטימיזציה כדי לבנות מחדש את הפנים שלי.

So you can see it's not perfect.

אז אתם יכולים לראות שזה לא מושלם.

There's still quite a lot of work to do

יש עדיין די הרבה עבודה לעשות

on how we optimize that optimization process.

על איך אנחנו עושים מיטוב של תהליך המיטוב.

But you start to get something more like a coherent face,

אבל אתם מתחילים לקבל משהו יותר כמו פנים ברורות,

rendered using my own face as a guide.

שמצויירות בשימוש בפנים שלי כהנחיה.

You don't have to start with a blank canvas

אתם לא צריכים להתחיל עם קאנבס ריק

or with white noise.

או עם צליל לבן.

When you're solving for x,

כשאתם פותרים עבור X,

you can begin with an x, that is itself already some other image.

אתם יכולים להתחיל עם X, שהוא בעצמו כבר תמונה אחרת.

That's what this little demonstration is.

זו מה שההדגמה הקטנה הזו.

This is a network that is designed to categorize

זו רשת שמתוכננת לקטלג

all sorts of different objects -- man-made structures, animals ...

כל מיני אובייקטים שונים -- מבנים מעשה ידי אדם, חיות...

Here we're starting with just a picture of clouds,

פה אנחנו מתחילים עם רק תמונה של עננים,

and as we optimize,

וכשאנחנו ממטבים,

basically, this network is figuring out what it sees in the clouds.

בעיקרון, הרשת הזו מבינה מה היא רואה בעננים.

And the more time you spend looking at this,

וככל שאתם מבלים יותר זמן בלהביט בהם,

the more things you also will see in the clouds.

אתם גם תראו הרבה יותר דברים בעננים.

You could also use the face network to hallucinate into this,

אתם תוכלו גם להשתמש ברשת הפנים כדי להזות לתוך זה,

and you get some pretty crazy stuff.

ואתם מקבלים דברים די מטורפים.

(Laughter)

(צחוק)

Or, Mike has done some other experiments

או, מייק עשה כמה ניסויים אחרים

in which he takes that cloud image,

בהם הוא לוקח את תמונת העננים ההיא,

hallucinates, zooms, hallucinates, zooms hallucinates, zooms.

הוזה, עושה זום, הוזה, זום, הוזה, זום.

And in this way,

ובדרך זו,

you can get a sort of fugue state of the network, I suppose,

אתם יכולים לקבל סוג של מצב של פוגה של הרשת, אני מניח,

or a sort of free association,

או סוג של אסוציאציה חופשית,

in which the network is eating its own tail.

בה הרשת אוכלת את הזנב של עצמה.

So every image is now the basis for,

אז כל תמונה היא עכשיו הבסיס,

"What do I think I see next?

ל"מה אני חושב שאני רואה עכשיו?

What do I think I see next? What do I think I see next?"

מה אני חושב שאני רואה עכשיו? מה אני חושב שאני רואה עכשיו?"

I showed this for the first time in public

הראתי את זה בפעם הראשונה בציבור

to a group at a lecture in Seattle called "Higher Education" --

לקבוצה בהרצאה בסיאטל שנקראה "חינוך גבוה יותר" --

this was right after marijuana was legalized.

זה היה מייד אחרי שמריחואנה הפכה לחוקית.

(Laughter)

(צחוק)

So I'd like to finish up quickly

אז הייתי רוצה לסיים במהירות

by just noting that this technology is not constrained.

פשוט בלהעיר שהטכנולוגיה הזו לא מוגבלת.

I've shown you purely visual examples because they're really fun to look at.

הראתי לכם דוגמאות ויזאוליות לגמרי בגלל שבאמת כיף להביט בהן.

It's not a purely visual technology.

זו לא טכנולוגיה ויזואלית לגמרי.

Our artist collaborator, Ross Goodwin,

האמן ששיתף איתנו פעולה, רוס גודווין,

has done experiments involving a camera that takes a picture,

עשה ניסויים שכללו מצלמה שמצלמת תמונות,

and then a computer in his backpack writes a poem using neural networks,

ואז המחשב בתיק שלו כותב פואמה בשימוש ברשתות עצביות,

based on the contents of the image.

בהתבסס על התוכן של התמונה.

And that poetry neural network has been trained

והרשת העצבית הזו של השירה אומנה

on a large corpus of 20th-century poetry.

על קורפוס גדול של השירה של המאה ה20.

And the poetry is, you know,

והשירה היא, אתם יודעים,

I think, kind of not bad, actually.

אני חושב, סוג של לא רעה, למעשה.

(Laughter)

(צחוק)

In closing,

לסיכום.

I think that per Michelangelo,

אני חושב שעבור מיכאלאנג'לו,

I think he was right;

אני חושב שהוא צדק;

perception and creativity are very intimately connected.

תפישה ויצירתיות מחוברות מאוד אינטימית.

What we've just seen are neural networks

מה שכרגע ראינו הן רשתות עצביות

that are entirely trained to discriminate,

שלגמרי מאומנות להפלות,

or to recognize different things in the world,

או להכיר דברים שונים בעולם,

able to be run in reverse, to generate.

מסוגלת להיות מורצת אחורנית, כדי לייצר.

One of the things that suggests to me

אחד הדברים שמראים לי

is not only that Michelangelo really did see

הם לא רק שמיכאלאנג'לו באמת ראה

the sculpture in the blocks of stone,

את הפסל בתוך בלוק האבן,

but that any creature, any being, any alien

אלא שכל יצור, כל ישות, כל חייזר

that is able to do perceptual acts of that sort

שמסוגל לעשות פעולות תפישתיות מסוג כלשהו

is also able to create

גם מסוגל ליצור

because it's exactly the same machinery that's used in both cases.

בגלל שזה בדיוק אותו מנגנון שבשימוש בשני המקרים.

Also, I think that perception and creativity are by no means

כמו כן ,אני חושב שתפישה ויצירתיות הן בשום צורה

uniquely human.

לא רק אנושיות.

We start to have computer models that can do exactly these sorts of things.

מתחילים להיות לנו מודלים ממוחשבים שיכולים לעשות בדיוק דברים מהסוג הזה.

And that ought to be unsurprising; the brain is computational.

וזה לא צריך להפתיע; המוח הוא חישובי.

And finally,

ולבסוף,

computing began as an exercise in designing intelligent machinery.

מחשוב החל כתרגיל בעיצוב מכונות חכמות.

It was very much modeled after the idea

הוא מודל אחר הרעיון

of how could we make machines intelligent.

של איך אנחנו יכולים ליצור מכונות חכמות.

And we finally are starting to fulfill now

ואנחנו לבסוף מתחילים להגשים עכשיו

some of the promises of those early pioneers,

כמה מההבטחות של החלוצים הראשונים האלה,

of Turing and von Neumann

של טיורינג וואן ניומן

and McCulloch and Pitts.

ומקקולוך ופיטס.

And I think that computing is not just about accounting

ואני חושב שמחשוב לא נוגע רק לחשבונאות

or playing Candy Crush or something.

או לשחק קנדי קראש או משהו.

From the beginning, we modeled them after our minds.

מההתחלה, מידלנו אותם לפי המוח שלנו.

And they give us both the ability to understand our own minds better

והם נותנים לנו גם את היכולת להבין את המוחות שלנו טוב יותר

and to extend them.

ולהרחיב אותם.

Thank you very much.

תודה רבה לכם.

(Applause)

(מחיאות כפיים)