Blaise Aguera y Arcas: Jaw-dropping Photosynth demo

What I'm going to show you first, as quickly as I can,

מה שאני הולך להראות לכם קודם כול, מהר ככול האפשר,

is some foundational work, some new technology

הוא עבודה בסיסית, טכנולוגיה חדשה

that we brought to Microsoft as part of an acquisition

שהבאנו למיקרוסופט במסגרת רכישה

almost exactly a year ago.

לפני שנה כמעט. זו סידרגון.

This is Seadragon, and it's an environment

סביבה שבה ניתן באופן מקומי או מרחוק

in which you can either locally or remotely interact

with vast amounts of visual data.

לפעול עם כמויות עצומות של נתונים חזותיים.

We're looking at many, many gigabytes of digital photos here

אנו מביטים בהמוני ג'יגה-בייט של תמונות דיגיטליות

and kind of seamlessly and continuously zooming in,

ומגדילים את התצוגה באופן חלק ומתמשך,

panning through it, rearranging it in any way we want.

ונעים בתוך התמונות, מסדרים אותן איך שנרצה,

And it doesn't matter how much information we're looking at,

וזה לא משנה בכמה מידע אנו מביטים,

how big these collections are or how big the images are.

כמה גדולים האוספים או כמה גדולות התמונות.

Most of them are ordinary digital camera photos,

רובן תמונות ממצלמות דיגיטליות פשוטות,

but this one, for example, is a scan from the Library of Congress,

אך זו, למשל, סריקה מספריית הקונגרס,

and it's in the 300 megapixel range.

וזה טווח של 300 מגה-פיקסל.

It doesn't make any difference

זה לא משנה,

because the only thing that ought to limit the performance of a system like this one

כי הדבר היחיד שיכול להגביל ביצועים של

מערכת כזאת הוא מספר הפיקסלים במסך

is the number of pixels on your screen at any given moment.

It's also very flexible architecture.

בכל רגע נתון. זו גם ארכיטקטורה גמישה מאוד.

This is an entire book, so this is an example of non-image data.

זה ספר שלם, דוגמה לנתונים לא-תמונתיים.

This is "Bleak House" by Dickens.

זה "הבית העגום" מאת דיקנס. כל טור הוא פרק.

Every column is a chapter.

To prove to you that it's really text, and not an image,

כדי להוכיח שזה באמת טקסט ולא תמונה,

we can do something like so, to really show

אפשר לעשות משהו כזה, כדי להראות באמת

that this is a real representation of the text; it's not a picture.

שזו תצוגה אמיתית של הטקסט; זו לא תמונה.

Maybe this is an artificial way to read an e-book.

אולי זו דרך מלאכותית לקרוא ספר אלקטרוני.

I wouldn't recommend it.

לא הייתי ממליץ על כך.

This is a more realistic case, an issue of The Guardian.

הנה מקרה יותר מציאותי. זה גיליון של ה"גארדיאן".

Every large image is the beginning of a section.

כל תמונה גדולה מהווה תחילת הקטע.

And this really gives you the joy and the good experience

וזה באמת מעניק את ההנאה והחוויה הנעימה

of reading the real paper version of a magazine or a newspaper,

של קריאת גיליון נייר אמיתי של מגזין או עיתון,

which is an inherently multi-scale kind of medium.

שהוא במהותו מדיום עם קני מידה מרובים.

We've done something

עשינו גם משהו קטן

with the corner of this particular issue of The Guardian.

עם פינה קטנה של גיליון מסוים של ה"גארדיאן".

We've made up a fake ad that's very high resolution --

הכנו פרסומת מזויפת ברזולוציה גבוהה מאוד,

much higher than in an ordinary ad --

גבוהה בהרבה משתוכלו לכלול בפרסומת רגילה,

and we've embedded extra content.

והטמענו תוכן נוסף.

If you want to see the features of this car, you can see it here.

אם תרצו לראות את התכונות של המכונית, תוכלו לראות כאן.

Or other models, or even technical specifications.

או דגמים אחרים, או אפילו מפרטים טכניים.

And this really gets at some of these ideas

וזה באמת נוגע בכמה מהרעיונות

about really doing away with those limits on screen real estate.

להיפטר ממגבלות הנדל"ן של המסך.

We hope that this means no more pop-ups

אנו מקווים שפירוש הדבר הוא סוף לחלונות המוקפצים

and other rubbish like that -- shouldn't be necessary.

וזבל אחר. אין בהם צורך.

Of course, mapping is one of those obvious applications

כמובן, מיפוי הוא אחד היישומים המתבקשים

for a technology like this.

של טכנולוגיה כזאת.

And this one I really won't spend any time on,

ואני לא רוצה לבזבז על זה זמן,

except to say that we have things to contribute to this field as well.

רק אומר שיש לנו מה לתרום גם בתחום הזה.

But those are all the roads in the U.S.

הנה כל הכבישים בארצות הברית

superimposed on top of a NASA geospatial image.

מוצגים על תמונה גיאו-מרחבית של נאסא.

So let's pull up, now, something else.

אז בואו נביא משהו אחר.

This is actually live on the Web now; you can go check it out.

זה כרגע ישר מהאינטרנט; אתם יכולים ללכת לשם ולבדוק.

This is a project called Photosynth, which marries two different technologies.

זהו פרויקט בשם פוטוסינת,

שמשדך בין שתי טכנולוגיות שונות.

One of them is Seadragon

אחת מהם היא סידרגון

and the other is some very beautiful computer-vision research

והשנייה היא מחקר חזותי ממוחשב יפה

done by Noah Snavely, a graduate student at the University of Washington,

של נוח שנייבלי, סטודנט באוניברסיטת וושינגטון,

co-advised by Steve Seitz at U.W.

בייעוץ משותף של סטיב סייץ מהאוניברסיטה

and Rick Szeliski at Microsoft Research.

וריק סליסקי ממחקר מיקרוסופט. שיתוף פעולה מאוד יפה.

A very nice collaboration.

And so this is live on the Web. It's powered by Seadragon.

אז זה ישיר מהרשת. זה מופעל באמצעות סידרגון.

You can see that when we do these sorts of views,

אפשר לראות שכשאנחנו עושים תצוגות כאלו,

where we can dive through images

שבהן אנחנו צוללים לתוך התמונות

and have this kind of multi-resolution experience.

ומקבלים חוויה כזאת עם ריבוי רזולוציות.

But the spatial arrangement of the images here is actually meaningful.

אבל לסידור המרחבי של התמונות כאן יש משמעות.

The computer vision algorithms have registered these images together

אלגוריתמי התצוגה של המחשב רשמו את התמונות ביחד,

so that they correspond to the real space in which these shots --

כך שהן יתאמו לחלל האמיתי שבו הצילומים

all taken near Grassi Lakes in the Canadian Rockies --

נלקחו, ליד גראסי לייקס בהרי הרוקי בקנדה,

all these shots were taken.

אז אפשר לראות כאן רכיבים

So you see elements here

of stabilized slide-show or panoramic imaging,

של תצוגת שקופיות מיוצבת או הדמיה פנורמית,

and these things have all been related spatially.

ובין כל הדברים האלה יש קשר מרחבי.

I'm not sure if I have time to show you any other environments.

אני לא בטוח אם יש לי זמן להראות לכם סביבות אחרות.

Some are much more spatial.

יש כמה הרבה יותר מרחביות.

I would like to jump straight to one of Noah's original data-sets --

אני עובר ישר לאחד מאוספי הנתונים המקוריים של נוח,

this is from an early prototype that we first got working this summer --

וזה מאב-טיפוס מוקדם של פוטוסינת

שהצלחנו להפעיל בקיץ,

to show you what I think

כדי להראות לכם את

is really the punch line behind the Photosynth technology,

מה שאני רואה כשורת המחץ של הטכנולוגיה,

It's not necessarily so apparent

הטכנולוגיה של פוטוסינת. ואין זה ברור בהכרח

from looking at the environments we've put up on the website.

מהסתכלות בסביבות שהעלינו לאתר האינטרנט.

We had to worry about the lawyers and so on.

היינו צריכים להיזהר מעורכי דין וכן הלאה.

This is a reconstruction of Notre Dame Cathedral

זה שחזור של כנסיית נוטר דאם,

that was done entirely computationally from images scraped from Flickr.

כולו באמצעות מחשב,

מתמונות שנאספו מ"פליקר". פשוט מקלידים נוטר דאם "ב"פליקר",

You just type Notre Dame into Flickr,

and you get some pictures of guys in T-shirts, and of the campus and so on.

ומקבלים תמונות של אנשים בחולצות טי, ושל הקמפוס,

וכן הלאה. וכל אחד מהקונוסים הכתומים מייצג תמונה

And each of these orange cones represents an image

that was discovered to belong to this model.

שנמצאה כשייכת למודל הזה.

And so these are all Flickr images,

אז כל אלה תמונות מ"פליקר",

and they've all been related spatially in this way.

ונוצרו ביניהן קשרים מרחביים ככה.

We can just navigate in this very simple way.

וניתן לנווט בדרך הפשוטה הזאת.

(Applause)

(כפיים)

(Applause ends)

You know, I never thought that I'd end up working at Microsoft.

אף פעם לא חשבתי שבסוף אעבוד במיקרוסופט.

It's very gratifying to have this kind of reception here.

משמח לזכות בכזאת קבלה כאן.

(Laughter)

(צחוק)

I guess you can see this is lots of different types of cameras:

אתם בטח יכולים לראות

שאלו סוגים שונים של מצלמות:

it's everything from cell-phone cameras to professional SLRs,

כל דבר ממצלמות סלולריות למצלמות רפלקס,

quite a large number of them, stitched together in this environment.

די הרבה מהן, שנתפרו

ביחד בסביבה הזאת.

If I can find some of the sort of weird ones --

ואם אוכל אמצא כמה מהמוזרים.

So many of them are occluded by faces, and so on.

הרבה מהן מוסתרות על-ידי פנים וכן הלאה.

Somewhere in here there is actually a series of photographs -- here we go.

איפשהו כאן יש

סדרת צילומים, הנה זה.

This is actually a poster of Notre Dame that registered correctly.

זו כרזה של נוטר דאם שנרשמה נכון.

We can dive in from the poster

אפשר לצלול מהכרזה

to a physical view of this environment.

לתצוגה פיזית של הסביבה.

What the point here really is

הרעיון כאן הוא שאפשר לעשות דברים

is that we can do things with the social environment.

עם הסביבה החברתית. זה לוקח נתונים מכולם,

This is now taking data from everybody --

from the entire collective memory, visually, of what the Earth looks like --

מכל הזיכרון הקולקטיבי

של האופן שבו העולם נראה,

and link all of that together.

ומקשר הכול ביחד.

Those photos become linked, and they make something emergent

כל התמונות האלה מקושרות יחד,

ומציגות משהו

that's greater than the sum of the parts.

שגדול יותר מסכום חלקיו.

You have a model that emerges of the entire Earth.

מתגבש מודל של העולם כולו.

Think of this as the long tail to Stephen Lawler's Virtual Earth work.

חשבו על כך כעל זנבו הארוך של "וירצ'ואל ארת'" של סטיבן לולר.

And this is something that grows in complexity as people use it,

וזה דבר שנעשה יותר ויותר מורכב

ככול שאנשים משתמשים בו, ואשר התועלת ממנו גדלה

and whose benefits become greater to the users as they use it.

למשתמשים ככול שהם משתמשים בו.

Their own photos are getting tagged with meta-data that somebody else entered.

התמונות שלהן מתויגות במטה-נתונים

שמישהו אחר מזין.

If somebody bothered to tag all of these saints

אם מישהו מתייג את כל הקדושים האלה

and say who they all are, then my photo of Notre Dame Cathedral

ומספר מי הם, אז התמונה שלי מנוטר דאם

suddenly gets enriched with all of that data,

מועשרת בכל הנתונים הללו,

and I can use it as an entry point to dive into that space,

וניתן להשתמש בהם כנקודת כניסה לחלל הזה,

into that meta-verse, using everybody else's photos,

לעולם הוירטואלי הנתון, באמצעות התמונות של כל האחרים,

and do a kind of a cross-modal

ולחוות מעין חוויה חברתית

and cross-user social experience that way.

בין מודלים ובין משתמשים.

And of course, a by-product of all of that is immensely rich virtual models

וכמובן, ישנו תוצר הלוואי

של מודלים וירטואליים עשירים ביותר

of every interesting part of the Earth,

של כל חלק מעניין בעולם, שנאספו

collected not just from overhead flights and from satellite images

לא רק מתצלומי אוויר ולווין

and so on, but from the collective memory.

וכן הלאה, אלא מהזיכרון הקולקטיבי.

Thank you so much.

תודה רבה לכם.

(Applause)

(כפיים)

(Applause ends)

Chris Anderson: Do I understand this right?

כריס אנדרסון: אני מבין נכון? מה שהתוכנה שלכם תאפשר

What your software is going to allow,

is that at some point, really within the next few years,

הוא שבשלב מסוים, במהלך השנים הקרובות ממש,

all the pictures that are shared by anyone across the world

כל התמונות שמשתפים כל האנשים בעולם

are going to link together?

יהיו מקושרות ביחד?

BAA: Yes. What this is really doing is discovering,

בא"א: כן. מה שזה בעצם עושה זה גילוי.

creating hyperlinks, if you will, between images.

זה יוצר היפר-קישורים, אם תרצה, בין תמונות.

It's doing that based on the content inside the images.

וזה עושה זאת

בהתבסס על תוכן בתוך התמונות.

And that gets really exciting when you think about the richness

וזה מאוד מרגש לחשוב על העושר

of the semantic information a lot of images have.

של המידע הסמנטי שנמצא בהרבה מהתמונות האלו.

Like when you do a web search for images,

למשל כשמחפשים תמונות באינטרנט,

you type in phrases,

מקלידים צירופי מילים, והטקסט בדף האינטרנט

and the text on the web page is carrying a lot of information

מכיל המון מידע אודות נושא התמונה.

about what that picture is of.

What if that picture links to all of your pictures?

מה קורה אם התמונה מקושרת לכל התמונות שלך?

אז הכמות של הקישורים ההדדיים הסמנטיים

The amount of semantic interconnection and richness

והעושר שמגיע מכך

that comes out of that is really huge.

עצומים באמת. זהו אפקט רשת קלאסי.

It's a classic network effect.

CA: Truly incredible. Congratulations.

כ"א: בלייז, זה באמת מדהים. ברכותיי.

.בא"א: תודה רבה