그러나 전문가시스템은 데이터베이스에 수많은 정보를 쌓아놓는다고 하더라도, 인간처럼 기계가 추론할 수 없기 때문에 매우 제한적이다. 인간의 복잡한 인지 과정을 따라갈 수 없으며, 상식 수준의 지식을 모두 가르칠 수는 없는 노릇이기 때문이다. 결국 머신러닝이 출현하게 되는 이유다.
머신러닝은 대부분 분류 알고리즘으로 작동한다. 입력 데이터를 주면 그것이 어떤 카테고리에 있는지 알려주는데, 이러한 분류를 인간이 모두 프로그래밍하는 것이 아니라 데이터로 학습을 시켜서 프로그램을 완성하는 것이다. 그런데 데이터로 학습을 시킬때 머신러닝은 어떠한 특징(피처)을 잘 입력해야 그 결과값이 잘 나오게 된다. 반면 딥러닝은 피처를 스스로 생성해낸다. 즉 과일을 분류하는 알고리즘을 짤 때 사과의 특징을 면면히 다 입력해서 이것이 사과라는 것을 알려주는 것이 머신러닝이고, 딥러닝은 데이터에서 사과의 특징을 스스로 알아내서 프로그래밍하는 것이다.
p. 158
머신러닝 방식의 결정적 단점은 도메인 특징을 반영하는 피처를 정의하거나 좋은 피처를 찾아내는 것이 쉬운 작업이 아니라는 것이다.
p. 160
여기서 자연스럽게 컴퓨터가 자동으로 피처를 잡아주는 시스템을 상상할 수 있다. 이런 상상이 현실이 된 것이 바로 딥러닝이다. 딥러닝은 피처를 사람이 선택하는 고전적인 머신러닝과는 달리 적절한 피처(입력값)를 스스로 생성해낸다. 딥러닝은 엄청난 양의 데이터를 학습하여 스스로 피처를 만들고 인간이 인식하지 못한 숨은 특징도 찾아낸다.
이쯤되면 머신러닝이나 딥러닝으로 알고리즘을 형성하면 믿을만 하겠다는 생각이 든다. 그 이유는 머신러닝이나 딥러닝 모두 컴퓨터가 데이터 학습을 통해 알고리즘을 형성하므로, 어떠한 편견도 들어가있지 않을 것이라고 생각할 수 있기 때문이다. 하지만 그렇지 않다.
p. 274
머신러닝은 인류가 만든 방대한 과거 데이터를 학습하기 때문에 오랜 세월 동안 굳어진 관습이나 편견이 알고리즘으로 전이될 수 밖에 없다....(중략) 이런 정도를 넘어 머신러닝 알고리즘이 예측이나 의사결정을 하는 하나의 완결된 시스템으로 등장할 경우에는 치명적 편견이나 오류가 나타날 수 있다.
책에서는 폐렴환자에 대한 사례가 나온다. 1990년대에 인공지능을 이용하여 환자의 위험도를 예측하고 판단하는 알고리즘 연구가 있었다. 그런데 이 판단 알고리즘은 천식 병력이 있는 폐렴 환자를 항상 안전하거나 위험성이 없다고 판정하였다. 실제로는 폐렴 환자가 천식 병력이 있는 경우 매우 위험한데도, 그와 반대로 판정하는 것이었다. 이 판단오류의 발생 이유는 데이터 학습 과정에 있었다. 천식환자가 폐렴 증세로 입원하면 곧바로 응급실로 이송되고 최우선 순위로 응급치료를 받으므로 결과적으로 이런 환자의 사망률은 낮게 기록되는데, 예측 알고리즘은 이런 데이터를 통해 학습했기 때문에 결국 치명적 오류를 범할 수 밖에 없었던 것이다.
p. 275
머신러닝은 데이터가 필요하고 데이터는 인간이 만들고 인간이 준비해야 하기 때문에 미세한 오류가 숨어들 수밖에 없다. 그런데 이 미세한 데이터의 노이즈가 결국 사고를 치게 된다. 한 마리 나비의 날갯짓이 태풍을 몰고 오듯 인간의 미세한 오류가 인공지능의 판단에 치명적으로 영향을 미친다. 미국 메릴랜드 대학교의 법학자 다니엘 시트론이 "알고리즘을 객관적이라고 생각해 신뢰하는 경향이 있다. 하지만 그 알고리즘을 만드는 것은 인간이므로 다양한 편견과 관점이 스며들 수 있다."라고 경고한 것처럼 기계라고 해서 그것이 하늘에서 뚝 떨어진 신은 아니다.규칙 기반이든 머신러닝을 사용하든, 결국 프로그램을 개발하는 것은 인간이다. 그 개발자의 인지편향이나 오류가 기계에 나타나게 마련이며 그런 오류는 카오스적이다. 이것을 극복하기 위하여 또 다른 기계를 가져와도 편향 문제는 무한 반복한다.
2017년 한창 로보어드바이저가 핫하게 떠오른 시기가 있었다. 그 당시 유명한 로보어드바이저 업체의 대표를 만난적이 있었고 그 회사의 트랙 레코드를 보여주면서 설명을 들었던 적이 있다. 그런데 설명을 듣다가 물었다. 어떻게 이 시점에 이렇게 투자한거죠? 그 대표는 이렇게 답했다. 저희도 그걸 모르겠어요. 로보어드바이저 대표도 로보어드바이저가 결과를 만들어낸 과정, 선택에 대해서는 잘 모른다. 이것이 바로 블랙박스 이슈이다. 결과 도출 과정을 설명할 수 없다는 것.
p. 276
딥러닝 기반의 의사결정 시스템이 인간처럼 추론하고 그 정확도가 매우 높다고 해도 왜 그런 결정을 했는지는 설명할 수 없다. 이것은 딥러닝의 특징이며 한계이다. 이런 문제를 해결하거나 보완하기 위하여 '설명 가능 인공지능, explnable AI' 연구도 시작됐다. 설명 가능 인공지능은 의사결정에 대한 이유를 사람이 이해할 수 있도록 설명해주는 인공지능 모델이다.
이 책에 나오는 많은 사례들을 보면 각 분야에서 인공지능에 관한 활발한 연구가 진행되고 있다. 그러나 인공지능이 아무리 발달한다고 하여도 인간의 예측본능을 완벽히 충족시켜줄 수는 없을 것 같다. 최종 선택이나 결론을 도출하는 것은 여전히 인간의 몫이어야되지 않을까 하는 생각이 든다. 물론 데이터 분류, 분석, 검색 등의 잡무에서 우리를 좀 해방시켜줄 수는 있을 것 같다.
인간의 뇌에 대해서도 아직 풀지못한 숙제가 많은데, 인간의 뇌인지 시스템을 그대로 모방하는 방법론도 인공지능에 적용하고 있다고 한다. 컴퓨터는 인간의 뇌를 모방할 수 없다. 이 책을 읽고나니 인공지능에 대한 두려움보다는 컴퓨터가 모방할 수 없는 인간의 능력에 대해 더욱 생각해보게 되었다. 또한 인공지능을 활용해 우리가 할 수 있는 새로운 일이 무엇인지 생각해보면 좋을 것 같다.