AI와 사법 시스템의 결합을 가장 우려하는 이유

A

인공지능 시스템은 현재 편향 논란에서 자유롭지 않다. 인공지능 시스템을 만든 사람의 편향부터 우리 사회 전체가 갖고 있는 편향이 인공지능 시스템에 녹아들 경우 사회적으로 이런 저런 문제들을 일으킬 수 있다. 클라이브 톰슨이 쓴 '은밀한 설계자들'을 봐도 편향은 인공지능이 풀어야 할 커다란 숙제 중 하나다. 저자는 특히 인공지능 시스템의 확산과 더불어 가장 우려스러운 분야 중 하나로 사법 분야를 꼽아 눈길을 끈다.

판사는 업무 과다로 늘 시간이 부족하기 마련이다. 그래서 최근 몇년간 판사가 피고의 범죄 가능성을 좀더 쉽게 판단할 수 있게 도와주는 다양한 인공지능 시스템들이 시장이 출시되고 있다. 그러나 이런 인공지능 법률 시스템을 분벅하면 인종에 대한 편견이 잔뜩 들어 있다고 보인다. 언론사 프로퍼블리카는 인공지능 법률 시스템중에서도 기업 노스포인테의 제품으로 알려진 콤파스를 분석했다. 

놀랍게도 콤파스가 흑인 피고를 상습범으로 분류할 가능성이 백인 피고를 상습범으로 분류할 가능성보다 2배 높았다. 게다가 콤파스 점수는 피고에 대한 영향력이 크다. 판사 대부분은 피고인의 영향력이 크다. 판사 대부분은 피고인의 보석 여부를 결정할 때 콤파스 점수를 참고한다. 콤파스 점수는 피고가 판결을 기다리는 동안 감옥에 갇히게 될지를 결정할 수 있는 것이다. 그리고 이 점수는 상대적으로 더 많은 흑인 피고를 감옥에 보내고 있는 것이 거의 확실하다.

과거 편향이 반영된 데이터가 미래 결정에 영향을 미쳐 편향된 판단이 반복된다는 것이다.

콤파스는 왜 편향된 판단을 하는 걸까? 개발사가 소스코드도 공개하지 않고 어떤 방식으로 점수를 매기는지도 제대로 설명하지 않기 때문에, 개발사 이외의 다른 사람들은 어떤 말도 할 수 없다. 그러나 이 문제도 워드 임베딩 소프트웨어의 경우처럼, 학습에 사용한 기존 데이터가 편향되었을 가능성이 있다. 지난 수십 년 동안 미국 경찰들은 흑인 시민들에게 훨씬 공격적인 법 집행을 해왔다. 흑인들은 백인과 비교했을 때 흡연, 소량의 마리화나 소지, 후미등 파손 차량 운행 등 작은 잘못으로도 체포되곤 했다. 한마디로 법 집행이 공정하지 못했다.

기존 범죄 데이터를 사용해 학습된 기계학습 시스템은 상대적으로 높은 흑인들의 유죄 비율을 학습하고, 흑인들이 원래부터 백인에 비해 높은 범죄 성향을 가지고 있다고 결론 내리기 쉽다. 게다가 악순환이 일어날 수도 있다. 예를 들어 인종차별주의 성향의 치안 데이터로 학습된 범죄 및 정의 알고리즘은 흑인들을 좀 더 위험한 사람으로 간주하거나 심지어 범죄자 취급을 할 것이다. 결국 흑인 범죄자가 증가하게 되고 이들의 전과 기록은 미래 기계 학습 시스템이 학습할 새로운 데이터가 된다.

사람은 잘 안 바뀌기도 하지만, 아예 그런 것은 아니다. 계속해서 나쁜 짓 하는 사람들도 있지만 가끔은 개과천선 하는 사람들도 있다. 기계학습에 의한 판단은 이런 상황을 반영하지 못할 수 있다는 것이 저자의 지적이다.

이런 현상은 기계 학습이 사법체계에 던지는 흥미로운 철학적 문제기도 하다. 한 사람의 과거 데이터와 사회 전반의 과거 데이터를 토대로 미래에 누군가가 범죄자가 될 가능성을 예측하도록 훈련된 인공지능 시스템이 있다. 그럴듯하다고 생각할 수도 있겠지만 이는 자칫 인간의 본성을 정적이며 고정적으로 볼 위험이 있다. 즉 나쁜 사람은 영원히 나쁘고, 좋은 사람은 영원히 좋은 사람으로 판단할 것이기 때문이다.

캐시 오닐은 자신의 저서 '대량살상 수학 무기'에서 빅데이터는 과거를 나타낼 뿐 새로운 미래를 만들지는 못한다고 썼다. 사람은 자신이 어느 정도의 자유의지를 가지고 있다고 생각하기 때문에, 자신의 잘못된 행동을 고치겠다고 결심할 수 있다. 그러나 누군가가 "이봐, 나는 이 일에서 손 떼고 착하게 살 거야"라고 결심하는 일을 기계 학습이 예측할 수 있을지는 명확하지 않다.

전과 기록을 토대로 콤파스로부터 자신이 다시금 범죄를 저지를 가능성이 있다는 평가를 받는 한 피고는 프로퍼블리카와의 인터뷰에서 똑같은 의견을 말했다. 그는 더 이상 죄를 짓지 않고 살기 위해 몇 년째 노력하고 있는 자신의 생각과 행동을 콤파스 시스템이 전혀 고려하지 않는다고 느꼈다. 판사라면 콤파스와 달리 피고인에 대해 좀 더 폭넓으면서도 인간적인 관점에서 판단했을지 모른다. 그러나 학습된 알고리즘을 따르는 콤파스는 그럴 수 없다.

테크잇 뉴스레터를 전해드립니다!

오피니언 기반 테크 블로그 'TechIt'
테크 비즈니스를 보는 다양한 통찰들을 이메일로 간편하게 받아 볼 수 있습니다.

About the author

endgame
endgame

테크 블로거 / 공유할만한 글로벌 테크 소식들 틈틈히 전달하겠습니다

No more pages to load


TechIT

테크 비즈니스를 보는 다양한 통찰 '테크잇'

독자 여러분들께서 좋은 의견이나 문의 사항이 있으시면 아래 양식에 따라 문의 주시기 바랍니다.

Contact