5 Ethical Principles for Digitizing Humanitarian Aid | Aarathi Krishnan | TED

번역: Hyunjin Lee 검토: JY Kang

Sociologist Zeynep Tufekci once said

사회학자 제이넵 투팩치는 말했습니다.

that history is full of massive examples

우리의 역사는 나쁜 일들의 예시로 가득 차 있고

of harm caused by people with great power

그 일들을 초래한 권력자들은

who felt that just because they felt themselves to have good intentions,

자신들이 좋은 의도로 행한 일은 해를 끼치지 않을 거라 믿는다고 했죠.

that they could not cause harm.

In 2017,

2017년,

Rohingya refugees started to flee Myanmar into Bangladesh

로힝야족 난민들은 미얀마를 떠나 방글라데시로 향하기 시작했습니다.

due to a crackdown by the Myanmar military,

미얀마 군부의 탄압 때문이었는데,

an act that the UN subsequently called of genocidal intent.

유엔은 이것을 두고 대량학살의 의도가 있다고 밝혔죠.

As they started to arrive into camps,

난민들은 캠프에 도착하면

they had to register for a range of services.

여러 지원을 받기 위해 신분 등록을 해야만 했습니다.

One of this was to register

등록해야 했던 것 중 하나는

for a government-backed digital biometric identification card.

정부가 관리하는 디지털 생체 정보 신분증이었습니다.

They weren't actually given the option to opt out.

난민들에게는 등록을 거부할 선택지가 없었습니다.

In 2021, Human Rights Watch accused international humanitarian agencies

2021년, 국제인권감시기구는 국제 인도 기구들을 고소했습니다.

of sharing improperly collected information about Rohingya refugees

부적절하게 수집된 로힝야족 난민의 정보들을

with the Myanmar government without appropriate consent.

정당한 동의 없이 미얀마 정부와 공유했기 때문입니다.

The information shared didn't just contain biometrics.

공유된 정보들은 단순한 생체정보뿐만이 아니었습니다.

It contained information about family makeup, relatives overseas,

가족 관계에 관한 정보까지 포함되어 있었어요.

고향에 있는 친인척들까지 말이죠.

where they were originally from.

Sparking fears of retaliation by the Myanmar government,

미얀마 정부의 보복 위험을 느낀 일부 난민들은 숨어버렸습니다.

some went into hiding.

Targeted identification of persecuted peoples

박해 대상인 인물을 표적 삼아 가려내는 것은

has long been a tactic of genocidal regimes.

대량 학살을 일삼는 정권의 오랜 전술이었습니다.

But now that data is digitized, meaning it is faster to access,

지금은 그 정보가 디지털화되었죠.

즉 빠른 접근, 빠른 분석 그리고 쉬운 색출이 가능하다는 의미입니다.

quicker to scale and more readily accessible.

This was a failure on a multitude of fronts:

이건 여러 면에서 잘못된 일이에요.

institutional, governance, moral.

제도적, 정치적, 도덕적 측면에서요.

I have spent 15 years of my career working in humanitarian aid.

저는 인도주의적 지원 분야에서 15년간 일했습니다.

From Rwanda to Afghanistan.

르완다에서부터 아프가니스탄까지요.

What is humanitarian aid, you might ask?

인도주의적 지원이 무엇인지 아시나요?

In its simplest terms, it's the provision of emergency care

간단히 말하자면, 긴급 구호를 제공하는 것입니다.

to those that need it the most at desperate times.

도움이 절실한 상황에 놓인 사람들을 돕는 일이죠.

Post-disaster, during a crisis. Food, water, shelter.

재난 이후나 위기 상황에서 음식, 물, 피난처를 제공하는 거죠.

I have worked within very large humanitarian organizations,

저는 매우 큰 인도주의적 지원 단체에서 일을 했었습니다.

whether that's leading multicountry global programs

그 단체는 다국가 대상의 세계적인 지원 프로그램을 운영했고

to designing drone innovations for disaster management

혁신적인 무인 드론을 설계하여

작은 섬나라들의 재난 상황을 관리하기도 했습니다.

across small island states.

I have sat with communities in the most fragile of contexts,

저는 가장 취약한 상황의 지역들과 함께했어요.

where conversations about the future are the first ones they've ever had.

미래를 꿈꿀 수도 없는 그런 지역이였습니다.

And I have designed global strategies to prepare humanitarian organizations

저는 이들의 미래를 위해 인도주의적 기관 설립을 위한

for these same futures.

세계적 지원 전략을 만들었습니다.

And the one thing I can say

중요한 것은, 저희 같은 인도주의 기구들이

is that humanitarians, we have embraced digitalization

지난 10년간 엄청나게 빠른 속도로 디지털화를 받아들였다는 것입니다.

at an incredible speed over the last decade,

moving from tents and water cans,

텐트와 물통도 물론 아직 사용하고 있지만

which we still use, by the way,

to AI, big data, drones, biometrics.

그런 것들이 AI, 빅테이터, 드론, 생체인식기술로 바뀌고 있죠.

These might seem relevant, logical, needed,

이것들은 관련성이 있어 보이고, 지역적이고, 필요한 것처럼 보입니다.

even sexy to technology enthusiasts.

기술 신봉자들에게는 매력적이겠죠.

But what it actually is, is the deployment of untested technologies

하지만 실상은...

취약한 사람들에게 적절한 동의도 받지 않고

on vulnerable populations without appropriate consent.

증명되지 않은 기술을 배포한 것입니다.

And this gives me pause.

여기서 저는 멈추게 되었습니다.

I pause because the agonies we are facing today

우리 전 세계 인류가 마주하고 있는 이 고통은

as a global humanity

didn't just happen overnight.

하루아침에 생겨난 게 아니에요.

They happened as a result of our shared history of colonialism

이는 우리가 공유하는 식민주의 역사의 결과입니다.

and humanitarian technology innovations are inherently colonial,

그리고 인도적 지원의 기술 개혁은 식민주의를 내재하고 있으며,

often designed for and in the good of groups of people

그 기술을 설계할 때의 적용 대상은

seen as outside of technology themselves,

기술과 전혀 가깝지 않은 사람들일 뿐만 아니라

and often not legitimately recognized

그들 스스로 해결책을 찾는 것을 정당하지 않은 것으로 취급합니다.

as being able to provide for their own solutions.

And so, as a humanitarian myself, I ask this question:

그래서 인도주의자로서 저는 이런 의문을 갖게 됩니다.

in our quest to do good in the world,

세상에 선을 행하려는 우리의 노력이

how can we ensure that we do not lock people into future harm,

장래에 사람들에게 피햬를 주지 않는다고 확신할 수 있을까?

future indebtedness and future inequity as a result of these actions?

우리 행동이 결과적으로 부담과 불평등을 초래하지는 않을까?

It is why I now study the ethics of humanitarian tech innovation.

이것이 제가 지금 인도적 기술 혁신의 윤리 문제를 공부하는 이유입니다.

And this isn't just an intellectually curious pursuit.

단지 지적 호기심을 채우려는 것이 아니에요.

It's a deeply personal one.

아주 개인적인 것입니다.

Driven by the belief that it is often people that look like me,

저와 같은 사람들을 위한 것이고,

that come from the communities I come from,

저처럼 역사적으로 배제당하고 소외당하는 처지의 사람들,

historically excluded and marginalized,

that are often spoken on behalf of

모두를 위한 것이라는 말로

and denied voice in terms of the choices

자신들의 미래에 대한 선택권을 부정당하는 사람들을 위한 것입니다.

available to us for our future.

As I stand here on the shoulders of all those that have come before me

저는 저보다 먼저 나섰던 사람들 덕분에 이 자리에 섰고,

and in obligation for all of those that will come after me

제 뒤를 이을 사람들에 대한 의무감으로 이곳에 서있습니다.

to say to you that good intentions alone do not prevent harm,

이것을 말씀드리기 위해서요.

좋은 의도만으로 피해를 막을 수 없고

and good intentions alone can cause harm.

좋은 의도만으로는 오히려 피해를 일으킬 수 있습니다.

I'm often asked, what do I see ahead of us in this next 21st century?

저는 21세기 다음의 전망에 대한 질문을 종종 받습니다.

And if I had to sum it up:

요약해보자면,

of deep uncertainty, a dying planet, distrust, pain.

깊은 불확실성, 죽어가는 지구, 불신, 고통을 봅니다.

And in times of great volatility, we as human beings, we yearn for a balm.

변덕이 심한 이 시대에 우리 인류에겐 치료제가 필요합니다.

And digital futures are exactly that, a balm.

디지털 미래 시대야말로 그 치료제라고 할 수 있죠.

We look at it in all of its possibility

그 안에 우리의 모든 가능성이 담겨있고

as if it could soothe all that ails us, like a logical inevitability.

그것이 마치 필연적으로 우리의 아픔을 진정시킬 수 있는 것처럼 기대합니다.

In recent years, reports have started to flag

그런데 최근 몇 년간, 이런 보고들이 나오기 시작했어요.

the new types of risks that are emerging about technology innovations.

기술 혁신에 있어 새로운 유형의 위험 요소가 생기고 있다는 거예요.

One of this is around how data collected on vulnerable individuals

그중 하나는...

취약한 개개인에게서 수집된 정보가

can actually be used against them as retaliation,

그들에 대한 보복에 사용될 수 있다는 것입니다.

posing greater risk not just against them, but against their families,

그들을 향한 위험뿐만 아니라,

그 가족들과 지역사회까지 위험해집니다.

against their community.

We saw these risks become a truth with the Rohingya.

야우리는 그 위험이 현실이 되는 것을 로힝야족을 통해 보았습니다.

And very, very recently, in August 2021, as Afghanistan fell to the Taliban,

그리고 아주 최근, 2021년 8월에는 아프가니스칸이 탈레반으로 넘어갔죠.

it also came to light that biometric data collected on Afghans

또 하나 드러난 사실은,

미군과 아프간 정부에 의해 수집된 아프간 사람들의 생체 정보가

by the US military and the Afghan government

and used by a variety of actors

다양한 집단에 의해 사용되었고,

were now in the hands of the Taliban.

지금은 탈레반의 손에 있다는 것입니다.

Journalists' houses were searched.

언론인들의 집이 수색당했고,

Afghans desperately raced against time to erase their digital history online.

아프간은 시간을 다투어 필사적으로 온라인 속의 역사를 지우려고 했습니다.

Technologies of empowerment then become technologies of disempowerment.

힘을 갖게 하는 기술들이 힘을 잃게 하는 기술이 되었습니다.

It is because these technologies

왜냐하면 이 기술들은

are designed on a certain set of societal assumptions,

어떤 사회적 가정을 기반으로 만들어지고,

embedded in market and then filtered through capitalist considerations.

시장에 나올 때는 자본주의적인 관점에서 걸러지기 때문이죠.

But technologies created in one context and then parachuted into another

단 한 가지의 맥락에서 만들어진 기술이 다른 곳으로 성급하게 적용되면

will always fail

언제나 실패합니다.

because it is based on assumptions of how people lead their lives.

사람들의 생활방식에 대한 가정에 기반을 두기 때문입니다.

And whilst here, you and I may be relatively comfortable

여기 여러분이나 저는 아무렇지 않게 지문 정보를 제공할 거예요.

providing a fingertip scan to perhaps go to the movies,

영화 예매를 할 때 말이죠.

we cannot extrapolate that out to the level of safety one would feel

하지만 다른 사람이 느끼는 안전함의 수준은 가늠하기 힘들 겁니다.

while standing in line,

긴 줄에 서서

having to give up that little bit of data about themselves

음식을 얻기 위해 자신의 개인 정보를 포기해야 하는 사람들 말이죠.

in order to access food rations.

Humanitarians assume that technology will liberate humanity,

인도주의적 지원가들은 기술이 인류를 자유롭게 할 거라고 생각합니다.

but without any due consideration of issues of power, exploitation and harm

하지만 앞서 말한 일들을 생기게 하는 권력, 착취, 피해에 대한

that can occur for this to happen.

적절한 고려를 하지 않았습니다.

Instead, we rush to solutionizing,

대신, 급하게 해결책만 찾으며 마법 같은 생각에 빠져 있었습니다.

a form of magical thinking

that assumes that just by deploying shiny solutions,

반짝이는 해결책을 제공하면 눈앞의 문제가 해결될 거란 생각이요.

we can solve the problem in front of us

without any real analysis of underlying realities.

현실에 대한 제대로 된 분석은 전혀 하지 않은 채로 말이죠.

These are tools at the end of the day,

이런 해결책들은 결국

and tools, like a chef's knife,

주방장의 칼과 같습니다.

in the hands of some, the creator of a beautiful meal,

어떤 손에 쥐어지면, 멋진 식사가 만들어지지만,

and in the hands of others, devastation.

다른 손에서는 파괴적 도구가 됩니다.

So how do we ensure that we do not design

그러면 어떻게 해야

과거의 불평등을 디지털 미래에 답습하지 않도록 할 수 있을까요?

the inequities of our past into our digital futures?

And I want to be clear about one thing.

한 가지 분명히 해두자면 저는 기술을 반대하는 게 아니에요.

I'm not anti-tech. I am anti-dumb tech.

멍청한 기술을 반대합니다.

(Laughter)

(웃음)

(Applause)

(박수)

몇 명의 제한된 상상이

The limited imaginings of the few

should not colonize the radical re-imaginings of the many.

다수의 사람들을 급진적으로 재-이미지화 하지 못하도록 해야 합니다.

So how then do we ensure that we design an ethical baseline,

그럼 어떻게 우리가 윤리적인 디자인에 바탕을 두고 있음을 확신하고,

so that the liberation that this promises is not just for a privileged few,

그로 인해 이 해방이 몇몇의 특권층을 위한 것이 아니라

but for all of us?

모두를 위하는 것이 될까요?

There are a few examples that can point to a way forward.

우리가 앞으로 나아갈 수 있는 몇 가지 예시를 보여드리겠습니다.

I love the work of Indigenous AI

저는 지역화 AI를 다루는 것이 좋습니다.

that instead of drawing from Western values and philosophies,

서양의 가치와 철학으로 그림을 그리는 것이 아닌,

it draws from Indigenous protocols and values

원주민들의 관례와 가치가 AI 코드에 들어있는

to embed into AI code.

그런 AI말이죠.

I also really love the work of Nia Tero,

또 저는 니아 테로(Nia Tero)의 활동도 좋아합니다

an Indigenous co-led organization that works with Indigenous communities

원주민이 주도하는 단체인 니아 테로는 원주민 지역들과 함께 일하며

to map their own well-being and territories

그들 스스로가 자신들의 복지와 영토를 위해 일하고 있습니다.

as opposed to other people coming in to do it on their behalf.

다른 이들이 들어와 원주민을 위해 일하게 하는 것과는 다르죠.

I've learned a lot from the Satellite Sentinel Project back in 2010,

저는 2010년 센티넬 프로젝트를 통해 많은 것을 배웠습니다.

which is a slightly different example.

조금은 다른 예가 되겠지만,

The project started essentially to map atrocities

이 프로젝트의 시작은 기본적으로 잔혹 행위를 파악하기 위한 거였습니다.

through remote sensing technologies, satellites,

원거리 탐지 기술, 위성 등을 이용해서

in order to be able to predict and potentially prevent them.

잔혹 행위를 막고 예측하기 위해 시작된 프로젝트였죠.

Now the project wound down after a few years

몇 년이 지나고 이 프로젝트는 다양한 이유로 축소되었죠.

for a variety of reasons,

one of which being that it couldn’t actually generate action.

그 이유 중 하나는 실질적인 대응을 할 수 없었다는 것과

But the second, and probably the most important,

또 다른 이유는, 아마 가장 중요한 이유일 텐데,

was that the team realized they were operating without an ethical net.

이 프로젝트가 윤리적 통제 없이 운영되고 있음을 깨달았기 때문입니다.

And without ethical guidelines in place,

윤리적 가이드라인 없다면

it was a very wide open line of questioning

활동에 있어서 광범위한 의문을 갖게 됩니다.

about whether what they were doing was helpful or harmful.

우리 활동이 도움이 되는지 혹은 해가 되는지에 대한 의문이요.

And so they decided to wind down before creating harm.

그래서 해가 되는 일이 생기기 전에 이 프로젝트를 축소하기로 결정했습니다.

In the absence of legally binding ethical frameworks

우리의 활동을 이끌어 줄

법적 구속력이 있는 윤리적 테두리가 없었기에

to guide our work,

I have been working on a range of ethical principles

저는 인도주의적 기술 혁신을 알리기 위한

to help inform humanitarian tech innovation,

다양한 윤리적 원칙에 대해 작업해 왔습니다.

and I'd like to put forward a few of these here for you today.

오늘 이곳에서 그중 몇 가지를 말씀드리고 싶습니다.

One: Ask.

첫째: 질문하라.

Which groups of humans will be harmed by this and when?

어떤 사람들이 언제 이 도구로 인해 피해를 입게 될 것인지.

Assess: Who does this solution actually benefit?

평가하라. 어떤 사람들이 이 해결책으로 인해 이익을 얻는지.

Interrogate: Was appropriate consent obtained from the end users?

조사하라. 최종 사용자로부터 적절한 동의를 얻었는지.

Consider: What must we gracefully exit out of

고려하라. 우리가 무엇에서 벗어나야 미래에 적합하게 되는지.

to be fit for these futures?

And imagine: What future good might we foreclose

그리고 상상하라.

만약 오늘 이것을 실행한다면 미래의 어떤 이익을 포기해야 하는지.

if we implemented this action today?

We are accountable for the futures that we create.

우리가 어떤 미래를 만들지는 우리 손에 달려있습니다.

We cannot absolve ourselves of the responsibilities

보호하고 섬겨야 할 사람들에게 만약 우리의 행동이 피해를 가져온다면

and accountabilities of our actions

if our actions actually cause harm

우리 행동에 대한 책임감과 책무에 대해

to those that we purport to protect and serve.

스스로 벗어날 수 없을 겁니다.

Another world is absolutely, radically possible.

또 다른 세계는 분명히, 빠르게 열릴 수 있습니다.

Thank you.

감사합니다.

(Applause)

(박수)