AI 공격하는 '적대적인 AI' 확산 조심하라

A

"인공지능은  무언가를 혁명적으로 바꿀 수 없을 것이다. 해커가 그것을 망쳐놓을 수 있다면 말이다."

UC버클리 교수로 AI 전문가인 돈 송은 최근 MIT테크놀로지리뷰가 주최한 행사에 참석해, 머신러닝 시스템을 조작하는 기술인, 이른바 적대적인((Adversarial) 머신러닝 방식의 부상에 대해 경고했다.

돈 송은 AI와 머신러닝 관련 보안 위협 연구가 주특기로 알려져 있다.

그에 따르면 적대적인 머신러닝은 AI를 비즈니스에서 활용하려는 누구에게나 큰 문제가 될 수 있다.머신러닝 기반으로 개발된 시스템을 공격하는데 사용될 수 있기 때문이다. 나중에 큰 문제가 될 수 있는 만큼, 이슈를 푸는데 모두가 힘을 합쳐야 한다고 그는 강조한다.

적대적인 머신러닝은 훈련된 정보를 공개하기 위해 알고리즘에 입력을 넣거나 시스템이 잘못 행동하도록 유도하기 위해 입력을 왜곡한다.

어떤 컴퓨터의 비전 알고리즘에 많은 이미지들을 입력하면 그것의 기능을 리버스 엔지니어링하는 것이 가능할 뿐더러 잘못된 것을 포함해 특정 종류의 결과를 보장할 수 있다. 

돈 송은 이번 행사에서 자신의 연구팀이 찾은 적대적 머신러닝 관련 몇몇 사례들도 소개했다.

구글과의 협력 아래 진행한 한 프로젝트는 이메일 메시지에서 자동 반응을 보이도록 훈련된 알고리즘에 대한 조사도 포함됐다. 이같은 노력은 적절한 메시지를 만듬으로써,  머신러닝이 신용카드 번호 같은 민간한 데이터를 토해내도록 하는 것이 가능하다는 것을 보여주었다.

이 연구에서 발견된 내용들은 구글이 지메일 서비스에서, 텍스트를 자동으로 생성하는 도구인 이른바 스마트 컴포즈(smart compose)가 악용되는 것을 막는데 사용됐다.

또 다른 프로젝트는 몇몇 악의없어 보이는 스티커들을 갖고 많은 차량에서 쓰이는 컴퓨터 비전 시스템을 속이는 방법을 찾기 위해 도로 신호를 수정하는 것도 포함했다.

돈 송은 비디오 데모를 통해 어떻게 자동차가 정지 신호인데, 시속 45마일 속도 제한을 표시한다고 착각하도록 하는지도 보여줬다. 이것은 이런 정보에 의존하는 자율주행 시스템에서 큰 문제가 될 수 있다.

적대적인 머신러닝은 머신러닝 연구자들 사이에서 관심이 늘고 있는 영역이라고 한다. 다른 연구 그룹들은 지난 몇년간 어떻게 온라인 머신러닝 API가 자신들을 속이거나 민간한 정보를 공개하도록 하기 위해 어떻게 조사되고 악용될 수 있는지 보여줬다.

적대적인 머신러닝은 국방쪽에서도 큰 관심사다. 센서와 무기 시스템을 포함해 점점 더 많은 군사 시스템들이 머신러닝을 활용하고 있다. 

올해 펜타곤 연구 조직인 DARPA는 적대적인 연구에 초점을 맞춘 GARD 프로젝트를 공개했다. GARD의 목표는 특정 공격을 방어하는 것을 넘어 광범위한 적대적인 머신러닝 공격에도 버틸 수 있는 강력한 AI 시스템을 개발하는 것이라고 MIT테크놀로지리뷰는 전했다.

 책과 디지털 공간에서 곱씹어볼만한 오피니언을 정리하고 있습니다.

테크잇 뉴스레터를 전해드립니다!

오피니언 기반 테크 블로그 'TechIt'
테크 비즈니스를 보는 다양한 통찰들을 이메일로 간편하게 받아 볼 수 있습니다.

About the author

endgame
endgame

테크 블로거 / 공유할만한 글로벌 테크 소식들 틈틈히 전달하겠습니다

No more pages to load


TechIT

테크 비즈니스를 보는 다양한 통찰 '테크잇'

독자 여러분들께서 좋은 의견이나 문의 사항이 있으시면 아래 양식에 따라 문의 주시기 바랍니다.

Contact