Kenneth Cukier: Big data is better data

Tradutor: Margarida Ferreira Revisora: Hamilton Abreu

America's favorite pie is?

A tarte preferida da América é...?

Audience: Apple. Kenneth Cukier: Apple. Of course it is.

Audiência: Maçã!

Kenneth Cukier: Maçã. Claro que é.

How do we know it?

Como é que sabemos?

Because of data.

Por causa dos dados!

You look at supermarket sales.

Vemos nas vendas dos supermercados.

You look at supermarket sales of 30-centimeter pies

Vemos nos supermercados as vendas das tartes de 30 cm

that are frozen, and apple wins, no contest.

que estão congeladas, e a maçã ganha, sem discussão.

The majority of the sales are apple.

A maioria das vendas são as de maçã.

But then supermarkets started selling

Mas depois os supermercados começaram a vender

smaller, 11-centimeter pies,

tartes mais pequenas, de 11 cm.

and suddenly, apple fell to fourth or fifth place.

De repente, a maçã caiu para quarto ou quinto lugar.

Why? What happened?

Porquê? O que é que aconteceu?

Okay, think about it.

Pensem bem.

When you buy a 30-centimeter pie,

Quando vocês compram uma tarte de 30 cm,

the whole family has to agree,

toda a família tem que aceitar,

and apple is everyone's second favorite.

mas a maçã é a segunda escolha de todos.

(Laughter)

(Risos)

But when you buy an individual 11-centimeter pie,

Mas quando compram uma tarte individual de 11 cm,

you can buy the one that you want.

podem comprar aquela que quiserem.

You can get your first choice.

Podem obter a vossa primeira escolha.

You have more data.

Vocês têm mais dados.

You can see something

Podem ver uma coisa que não viam,

that you couldn't see

when you only had smaller amounts of it.

quando só tinham uma quantidade mais pequena.

Now, the point here is that more data

A questão aqui é que mais dados não só nos permitem ver mais,

doesn't just let us see more,

more of the same thing we were looking at.

mais da mesma coisa para que estamos a olhar,

More data allows us to see new.

mas mais dados também nos permitem ver coisas novas.

It allows us to see better.

Permitem-nos ver melhor.

It allows us to see different.

Permitem-nos ver de modo diferente.

In this case, it allows us to see

Neste caso, permitem-nos ver

what America's favorite pie is:

qual é a tarte preferida da América:

not apple.

não é a de maçã.

Now, you probably all have heard the term big data.

Provavelmente, já todos ouviram falar do termo "megadados".

In fact, you're probably sick of hearing the term

Provavelmente já estão enjoados de ouvir o termo

big data.

Megadados.

It is true that there is a lot of hype around the term,

É verdade que há muita publicidade em torno deste termo

and that is very unfortunate,

e isso é lamentável,

because big data is an extremely important tool

porque os megadados são uma ferramenta extremamente importante

by which society is going to advance.

com a qual a sociedade vai avançar.

In the past, we used to look at small data

No passado, olhávamos para conjuntos reduzidos de dados

and think about what it would mean

e pensávamos o que significariam para tentar entender o mundo.

to try to understand the world,

and now we have a lot more of it,

Agora temos muito mais,

more than we ever could before.

mais do que alguma vez tivemos.

What we find is that when we have

Descobrimos que, quando temos um grande conjunto de dados,

a large body of data, we can fundamentally do things

podemos fazer coisas que não eram possíveis,

that we couldn't do when we only had smaller amounts.

quando só tínhamos quantidades mais pequenas.

Big data is important, and big data is new,

Os megadados são importantes e são uma novidade.

and when you think about it,

Pensem nisto.

the only way this planet is going to deal

A única forma como este planeta

with its global challenges —

vai poder lidar com os desafios globais

to feed people, supply them with medical care,

— alimentar as pessoas, dispensar-lhes cuidados médicos,

supply them with energy, electricity,

fornecer-lhes energia, eletricidade,

and to make sure they're not burnt to a crisp

e garantir que elas não vão ficar em torresmos

because of global warming —

por causa do aquecimento global —

is because of the effective use of data.

é através do uso eficaz de dados.

So what is new about big data? What is the big deal?

Então o que há de novo quanto aos megadados?

O que têm de tão importante?

Well, to answer that question, let's think about

Para responder a esta pergunta,

what information looked like,

pensemos em como era a informação,

physically looked like in the past.

qual era o seu aspeto físico, no passado.

In 1908, on the island of Crete,

Em 1908, na Ilha de Creta,

archaeologists discovered a clay disc.

os arqueólogos descobriram um disco de barro.

They dated it from 2000 B.C., so it's 4,000 years old.

Dataram-no de 2000 a.C., portanto com 4000 anos.

Now, there's inscriptions on this disc,

Há inscrições nesse disco,

but we actually don't know what it means.

mas não sabemos o que é que significam.

It's a complete mystery, but the point is that

É um mistério total, mas a questão

this is what information used to look like

é que era aquele o aspeto das informações

4,000 years ago.

há 4000 anos.

This is how society stored

Era assim que a sociedade armazenava

and transmitted information.

e transmitia as informações.

Now, society hasn't advanced all that much.

A sociedade não avançou assim muito.

We still store information on discs,

Continuamos a armazenar informação em discos,

but now we can store a lot more information,

mas agora podemos guardar muito mais informações,

more than ever before.

muito mais do que até aqui.

Searching it is easier. Copying it easier.

É mais fácil pesquisar. É mais fácil copiar.

É mais fácil partilhar. É mais fácil processar.

Sharing it is easier. Processing it is easier.

And what we can do is we can reuse this information

Podemos reutilizar essas informações

for uses that we never even imagined

para usos que nunca sequer imaginávamos

when we first collected the data.

quando a princípio reunimos os dados.

In this respect, the data has gone

Neste aspeto, os dados passaram de "stock" a fluxo,

from a stock to a flow,

from something that is stationary and static

passaram duma coisa que é fixa e estática

to something that is fluid and dynamic.

para uma coisa que é fluida e dinâmica.

There is, if you will, a liquidity to information.

Há, se quiserem, uma liquidez na informação.

The disc that was discovered off of Crete

O disco que foi descoberto em Creta

that's 4,000 years old, is heavy,

que tem 4000 anos, é pesado,

it doesn't store a lot of information,

não guarda muitas informações

and that information is unchangeable.

e essas informações são imutáveis.

By contrast, all of the files

Em contrapartida, todos os arquivos

that Edward Snowden took

que Edward Snowden levou

from the National Security Agency in the United States

da National Security Agency nos Estados Unidos da América

fits on a memory stick

cabem num cartão de memória

the size of a fingernail,

do tamanho duma unha

and it can be shared at the speed of light.

e podem ser partilhados à velocidade da luz.

More data. More.

Mais dados. Mais.

Uma das razões por que temos hoje tantos dados no mundo

Now, one reason why we have so much data in the world today

is we are collecting things

é porque estamos a reunir coisas

that we've always collected information on,

sobre as quais sempre reunimos informação.

but another reason why is we're taking things

Mas outra razão é porque estamos a agarrar em coisas

that have always been informational

que sempre foram informativas

but have never been rendered into a data format

mas nunca foram transformadas num formato de dados

and we are putting it into data.

e estamos a transformá-las em dados.

Think, for example, the question of location.

Por exemplo, pensem na questão da localização.

Take, for example, Martin Luther.

Por exemplo, Martinho Lutero.

If we wanted to know in the 1500s

Se quiséssemos saber nos anos de 1500

where Martin Luther was,

onde estava Martinho Lutero,

we would have to follow him at all times,

tínhamos que andar sempre atrás dele,

maybe with a feathery quill and an inkwell,

— talvez com uma pluma de pato e um tinteiro —

and record it,

e registar isso.

but now think about what it looks like today.

Agora pensem no que se passa hoje.

You know that somewhere,

Sabemos que algures,

provavelmente na base de dados duma empresa de telecomunicações,

probably in a telecommunications carrier's database,

there is a spreadsheet or at least a database entry

há uma folha de cálculo ou, pelo menos, uma entrada numa base de dados

that records your information

que regista as informações

of where you've been at all times.

sobre onde estivemos em todas as ocasiões,

If you have a cell phone,

se tivermos um telemóvel e esse telemóvel tiver GPS.

and that cell phone has GPS, but even if it doesn't have GPS,

Mas, mesmo que não tenha GPS,

it can record your information.

pode registar as nossas informações.

In this respect, location has been datafied.

Nesse aspeto, a localização foi transformada em dados.

Now think, for example, of the issue of posture,

Pensem, por exemplo, na questão da postura,

na forma como estão sentados neste momento,

the way that you are all sitting right now,

the way that you sit,

na forma como se sentam,

the way that you sit, the way that you sit.

na forma como você se senta, na forma como você se senta.

It's all different, and it's a function of your leg length

São diferentes, em função do tamanho das vossas pernas,

and your back and the contours of your back,

dos contornos das vossas costas.

and if I were to put sensors, maybe 100 sensors

Se puséssemos censores, — talvez uns 100 censores —

into all of your chairs right now,

em todas as cadeiras, neste momento,

I could create an index that's fairly unique to you,

eu podia criar um índice único para cada um de vocês,

sort of like a fingerprint, but it's not your finger.

uma espécie de impressão digital, mas não dos vossos dedos.

So what could we do with this?

Mas o que é que podíamos fazer com isso?

Researchers in Tokyo are using it

Há investigadores em Tóquio que estão a usar isso

as a potential anti-theft device in cars.

como um possível aparelho antirroubo em automóveis.

The idea is that the carjacker sits behind the wheel,

A ideia é que o ladrão senta-se ao volante, tenta arrancar,

tries to stream off, but the car recognizes

mas o carro reconhece que, ao volante, está um condutor não autorizado

that a non-approved driver is behind the wheel,

and maybe the engine just stops, unless you

e o motor não arranca,

a não ser que se digite uma senha

type in a password into the dashboard

no painel de comandos, que diz:

to say, "Hey, I have authorization to drive." Great.

"Olha lá, eu tenho autorização para guiar".

Fantástico.

What if every single car in Europe

E, se todos os carros na Europa

had this technology in it?

tivessem essa tecnologia?

What could we do then?

O que é que podíamos fazer?

Maybe, if we aggregated the data,

Se agregássemos os dados,

maybe we could identify telltale signs

talvez pudéssemos identificar sinais reveladores

that best predict that a car accident

que previssem melhor

is going to take place in the next five seconds.

que vai ocorrer um acidente de viação

nos cinco segundos seguintes.

And then what we will have datafied

E mais, o que teremos registado em dados

is driver fatigue,

é a fadiga do condutor.

and the service would be when the car senses

O objetivo seria que,

quando o carro pressente que a pessoa entra nessa situação,

that the person slumps into that position,

automatically knows, hey, set an internal alarm

sabe automaticamente que deve ligar um alarme interno

that would vibrate the steering wheel, honk inside

que fará vibrar a buzina do volante, no interior, a dizer:

to say, "Hey, wake up,

"Ei, acorda! Presta mais atenção à estrada!"

pay more attention to the road."

These are the sorts of things we can do

São estas as coisas que podemos fazer

when we datafy more aspects of our lives.

quando transformamos em dados mais aspetos da nossa vida.

So what is the value of big data?

Então, qual é o valor dos megadados?

Well, think about it.

Pensem só.

You have more information.

Temos mais informações.

You can do things that you couldn't do before.

Podemos fazer coisas que não podíamos fazer antes.

One of the most impressive areas

Uma das áreas mais impressionantes

where this concept is taking place

em que está a ocorrer este conceito

is in the area of machine learning.

é na área da aprendizagem das máquinas.

Machine learning is a branch of artificial intelligence,

A aprendizagem das máquinas é um ramo da inteligência artificial,

which itself is a branch of computer science.

que, por sua vez, é um ramo das tecnologias da informação.

The general idea is that instead of

A ideia geral é que,

instructing a computer what do do,

em vez de dar instruções a um computador sobre o que fazer,

we are going to simply throw data at the problem

vamos simplesmente lançar dados para o problema

and tell the computer to figure it out for itself.

e dizer ao computador para arranjar a solução por si mesmo.

And it will help you understand it

Vão compreender melhor

by seeing its origins.

conhecendo as suas origens.

In the 1950s, a computer scientist

Nos anos 50, um engenheiro informático da IBM,

at IBM named Arthur Samuel liked to play checkers,

chamado Arthur Samuel, gostava de jogar xadrez.

so he wrote a computer program

Por isso escreveu um programa para computador

so he could play against the computer.

para poder jogar com o computador.

He played. He won.

Jogou. Ganhou.

He played. He won.

Jogou. Ganhou.

He played. He won,

Jogou. Ganhou.

because the computer only knew

Porque o computador só sabia

what a legal move was.

o que era um movimento legal.

Arthur Samuel knew something else.

Arthur Samuel sabia mais qualquer coisa.

Arthur Samuel knew strategy.

Arthur Samuel sabia estratégia.

So he wrote a small sub-program alongside it

Assim, escreveu um pequeno subprograma

operating in the background, and all it did

que corria por detrás,

was score the probability

que apenas calculava as probabilidades

that a given board configuration would likely lead

de uma dada configuração do tabuleiro

levar a um tabuleiro vencedor ou a um tabuleiro perdedor,

to a winning board versus a losing board

after every move.

depois de cada movimento.

He plays the computer. He wins.

Joga com o computador. Ganha.

He plays the computer. He wins.

Joga com o computador. Ganha.

He plays the computer. He wins.

Joga com o computador. Ganha.

And then Arthur Samuel leaves the computer

Então, Arthur Samuel deixa o computador jogar sozinho.

to play itself.

It plays itself. It collects more data.

Ele joga sozinho. Reúne mais dados.

It collects more data. It increases the accuracy of its prediction.

Reúne mais dados. Aumenta o rigor das suas previsões.

And then Arthur Samuel goes back to the computer

Arthur Samuel volta ao computador.

and he plays it, and he loses,

Joga e perde,

and he plays it, and he loses,

joga e perde,

and he plays it, and he loses,

joga e perde.

and Arthur Samuel has created a machine

Arthur Samuel criara uma máquina

that surpasses his ability in a task that he taught it.

que ultrapassara a sua capacidade numa tarefa que ele lhe ensinara.

And this idea of machine learning

Esta ideia de aprendizagem da máquina

is going everywhere.

está a espalhar-se por todo o lado.

How do you think we have self-driving cars?

Como é que julgam que temos carros autoguiados?

Are we any better off as a society

A nossa sociedade está melhor

enshrining all the rules of the road into software?

por meter todas as regras de trânsito em "software"? Não.

No. Memory is cheaper. No.

A memória é mais barata? Não.

Algorithms are faster. No. Processors are better. No.

Os algoritmos são mais rápidos? Não.

Os processadores são melhores? Não.

All of those things matter, but that's not why.

Todas essas coisas são importantes, mas a razão não é essa.

It's because we changed the nature of the problem.

É porque alterámos a natureza do problema.

We changed the nature of the problem from one

Alterámos a natureza do problema.

in which we tried to overtly and explicitly

Em vez de tentarmos aberta e explicitamente

explain to the computer how to drive

explicar ao computador como guiar,

to one in which we say,

dizemos:

"Here's a lot of data around the vehicle.

"Estão aqui os dados sobre o veículo.

You figure it out.

"Descobre lá como é.

You figure it out that that is a traffic light,

"Descobre que isto é um semáforo,

that that traffic light is red and not green,

"que a luz do semáforo está vermelha e não verde,

that that means that you need to stop

"que isso significa que tens que parar

and not go forward."

"em vez de avançar".

Machine learning is at the basis

A aprendizagem da máquina está na base

of many of the things that we do online:

de muitas das coisas que fazemos "online".

search engines,

Por exemplo, motores de busca,

Amazon's personalization algorithm,

algoritmo de personalização do Amazon,

computer translation,

tradução por computador,

voice recognition systems.

sistemas de reconhecimento de voz.

Researchers recently have looked at

Recentemente, houve investigadores

the question of biopsies,

que analisaram a questão das biópsias,

cancerous biopsies,

das biópsias relacionadas com cancros.

and they've asked the computer to identify

Pediram ao computador para identificar,

by looking at the data and survival rates

olhando para os dados e as taxas de sobrevivência,

to determine whether cells are actually

para determinar

se as células eram cancerosas ou não.

cancerous or not,

and sure enough, when you throw the data at it,

Claro que, quando lá meteram os dados,

through a machine-learning algorithm,

através dum algoritmo de aprendizagem das máquinas,

the machine was able to identify

a máquina foi capaz de identificar

the 12 telltale signs that best predict

os 12 sinais reveladores que melhor preveem

that this biopsy of the breast cancer cells

que naquela biopsia do cancro da mama

are indeed cancerous.

as células são de facto cancerosas.

The problem: The medical literature

Um problema: a literatura médica

only knew nine of them.

só conhecia nove desses sinais.

Three of the traits were ones

Três dos sinais eram sinais

that people didn't need to look for,

que as pessoas não precisavam de procurar,

but that the machine spotted.

mas a máquina detetou-os.

Now, there are dark sides to big data as well.

Mas também há o lado sombrio dos megadados.

It will improve our lives, but there are problems

Vai melhorar a nossa vida, mas há problemas

that we need to be conscious of,

de que temos que ter consciência.

and the first one is the idea

O primeiro é a ideia

that we may be punished for predictions,

de que podemos ser punidos por causa das previsões,

that the police may use big data for their purposes,

de que a polícia possa usar os megadados para os seus objetivos,

a little bit like "Minority Report."

um pouco como no "Minority Report".

Now, it's a term called predictive policing,

É um termo chamado policiamento previsível,

or algorithmic criminology,

ou criminologia algorítmica.

and the idea is that if we take a lot of data,

A ideia é que, se tivermos muitos dados,

for example where past crimes have been,

por exemplo, sítios onde ocorreram crimes no passado,

we know where to send the patrols.

sabemos para onde enviar as patrulhas.

That makes sense, but the problem, of course,

Isso faz sentido, mas claro que o problema

is that it's not simply going to stop on location data,

é que isso não vai parar nos dados de localização,

it's going to go down to the level of the individual.

vai descer ao nível do indivíduo.

Why don't we use data about the person's

Porque é que não usamos dados

high school transcript?

sobre o historial universitário das pessoas?

Maybe we should use the fact that

Podíamos usar o facto de eles estarem empregados ou não,

they're unemployed or not, their credit score,

o grau de confiança,

their web-surfing behavior,

o comportamento de navegação na Internet,

whether they're up late at night.

se se deitam muito tarde.

Their Fitbit, when it's able to identify biochemistries,

O seu Fitbit, quando conseguir identificar bioquímicos,

will show that they have aggressive thoughts.

mostrará que eles têm pensamentos agressivos.

We may have algorithms that are likely to predict

Podemos ter algoritmos que poderão prever

what we are about to do,

o que estamos a pensar fazer,

and we may be held accountable

e podemos ser responsabilizados

before we've actually acted.

ainda antes de termos agido.

Privacy was the central challenge

A privacidade era o desafio central

in a small data era.

numa era de pequenos dados.

In the big data age,

Na era dos megadados,

the challenge will be safeguarding free will,

o desafio será a salvaguarda da nossa vontade,

moral choice, human volition,

da escolha moral, da volição humana,

human agency.

da atividade humana.

There is another problem:

Há um outro problema:

Big data is going to steal our jobs.

Os megadados vão roubar-nos trabalho.

Big data and algorithms are going to challenge

Os megadados e os algoritmos vão pôr em causa o trabalho intelectual

white collar, professional knowledge work

de colarinho branco, dos profissionais

in the 21st century

no século XXI,

in the same way that factory automation

tal como a automação das fábricas

and the assembly line

e as linhas de montagem

challenged blue collar labor in the 20th century.

puseram em causa o trabalho dos operários no século XX.

Think about a lab technician

Pensem num técnico de laboratório

who is looking through a microscope

que observa ao microscópio a biópsia dum cancro

at a cancer biopsy

and determining whether it's cancerous or not.

e determina se é cancerosa ou não.

The person went to university.

Essa pessoa frequentou a universidade.

The person buys property.

Essa pessoa compra bens.

He or she votes.

Vota.

He or she is a stakeholder in society.

É parte interessada da sociedade.

And that person's job,

Essa pessoa,

as well as an entire fleet

assim como todo um grupo de profissionais iguais a ela,

of professionals like that person,

is going to find that their jobs are radically changed

vai deparar-se com o seu trabalho radicalmente alterado

or actually completely eliminated.

ou totalmente eliminado.

Now, we like to think

Gostamos de pensar

that technology creates jobs over a period of time

que a tecnologia cria empregos

after a short, temporary period of dislocation,

depois de um curto período temporário de transição.

Isso é verdade, dentro do quadro de referência

and that is true for the frame of reference

with which we all live, the Industrial Revolution,

em que todos vivemos na Revolução Industrial

because that's precisely what happened.

porque foi exatamente o que aconteceu.

But we forget something in that analysis:

Mas esquecemos uma coisa nessa análise.

There are some categories of jobs

Há algumas categorias de trabalhos

that simply get eliminated and never come back.

que são eliminados e nunca mais voltam.

The Industrial Revolution wasn't very good

A Revolução Industrial não foi muito boa para os cavalos.

if you were a horse.

So we're going to need to be careful

Portanto, vamos ter que ser cuidadosos,

and take big data and adjust it for our needs,

agarrar nos megadados e ajustá-los às nossas necessidades,

our very human needs.

às nossas necessidades humanas.

We have to be the master of this technology,

Temos que ser os donos desta tecnologia

not its servant.

e não os seus escravos.

We are just at the outset of the big data era,

Estamos apenas no início da era dos megadados.

and honestly, we are not very good

Honestamente, não somos muito bons

at handling all the data that we can now collect.

em manejar todos os dados que conseguimos reunir atualmente.

It's not just a problem for the National Security Agency.

Não é só um problema com a NSA.

Businesses collect lots of data, and they misuse it too,

A indústria reúne muitos dados e também os utiliza mal.

and we need to get better at this, and this will take time.

Precisamos de melhorar nisso, mas isso vai levar tempo.

It's a little bit like the challenge that was faced

É um pouco como o desafio

by primitive man and fire.

que os homens primitivos enfrentaram com o fogo.

This is a tool, but this is a tool that,

É uma ferramenta, mas é uma ferramenta

unless we're careful, will burn us.

que, se não tivermos cuidado, pode-nos queimar.

Big data is going to transform how we live,

Os megadados vão transformar o modo como vivemos,

how we work and how we think.

como trabalhamos e como pensamos.

It is going to help us manage our careers

Vão ajudar-nos a gerir as nossas carreiras

and lead lives of satisfaction and hope

e a viver com satisfação e esperança,

and happiness and health,

com felicidade e saúde.

but in the past, we've often looked at information technology

No passado, olhámos muitas vezes para a tecnologia da informação

and our eyes have only seen the T,

e os nossos olhos só viram o "T,"

the technology, the hardware,

a Tecnologia, o equipamento,

because that's what was physical.

porque era o que era físico.

We now need to recast our gaze at the I,

Agora precisamos de focar o nosso olhar no "I",

the information,

a Informação

which is less apparent,

que é menos aparente,

but in some ways a lot more important.

mas em certos aspetos, muito mais importante.

Humanity can finally learn from the information

A humanidade pode finalmente aprender com as informações

that it can collect,

que consegue reunir,

as part of our timeless quest

faz parte da nossa busca incansável

to understand the world and our place in it,

para entender o mundo e o nosso lugar nele.

and that's why big data is a big deal.

Por isso é que os megadados são uma coisa importante.

(Applause)

(Aplausos)