바야흐로 인공지능이 생활의 일부가 되어가는 양상이다.
알파고로 전세계인의 시선을 집중시키며 큰 파장을 불러 일으키면서 인공지능은
한낱, 전문가들의 이론으로만 머물지 않고 우리들 곁으로 어느날 성큼 성큼 다가오기 시작했다.
이미 거실의 스피커와 스마트폰의 시리와같은 인공비서, 심지어는 주식의 펀드매니저와 같은 로보어드바이저, 전기차가 일반화 되기 시작한 지금, 자율주행까지.... 때로는 영화속 터미네이터가 현실화 될수 있을거라는 불안감까지 이르렀으며, 여기저기 AI를 붙여야 상품성이 있어보이기도 하며, AI 수요는 급증하나 수요를 만족시키는 공급은 부족한 듯 보인다.
이제껏 C, C++, Assembler, Java, Javascript, 라는 개발언어 수준에서의 프로그래밍에서 인공지능 프로그래밍은 기존의 개발툴과 문법을 익혀 만드는 수준이 아니다.
인공지능 학문의 무게감이 훨~씬 크다. 특히 컴퓨터 언어를 익혀 대부분 성과를 내는 이전의 프로그래밍과는 많이 다르다.
많은 차이점과 관심있는 사람들의 의욕에도 불구하고 인공지능 프로그래밍을 포기를 하게끔 만드는 가장 큰요인은 바로 수학이다. 학창시절 괴롭혀오던 수학이 인공지능에서 뜻하지않게 맞닦뜨려 절망하게 만든다 ^^;;;.
이책은 캐글이라는 데이터 분석 경진 대회에 상위입상 하기 위한 여러 저자들의 노하우를 정리해둔 책이다. 캐글은 2010년에 설립되어 2017년에 구글에 인수 되었다.
현재 등록자수 630만명, 실질 참여자 15만명이란다.
일본 캐글 Competition GrandMaster 1인, Master 2인, Expert 1인이 함께 공저한 책이다.
이제껏 한국에 나온 캐글 관련 책중 가장 높은 등급의 다수가 집필한 책으로 알고 있다.
최근의 경향을 다루는데 이책의 원서는 2019년 8월경 집필되었고 번역시점은 2021년 3월이다. 개발언어는 Python이다. 이책은 이미지,음성, 자연어보단, 정형 데이터를 주로 대상으로 다루었다.
한국에도 4명의 kaggle GrandMaster가 있다고 알고 있다.
이책은 파이썬과 머신러닝 기본개념과 미분, 행렬등의 데이터과학 관련 수학을 어느정도 알고 있다는 전제하에 설명을 한다.
모두 7개의 장으로 설명을 하고 있고
1장은 캐글 경진대회에 대한 소개를 한다.
기본중의 기본 개념이다. 학습과 테스트 관계이다
순위가 Public가 Private leaderboard로 두 차례 매기는데 최종 확정순위는 Private leaderboard로 매겨진다. 보통 학습데이타에만 과적합으로 인해 순위가 크게 바뀌는 경우도 있다한다.
우후, 저게 목표다 최종인 Private Leaderboard의 맨꼭대기에 내이름이 올라가는날이 오길
손꼽아 기대해 본다. ^^*
우후 고수중의 고수, world wide 경진대회의 가장 Hot한 Competetion 부분 Ranking 이다
여기서 1등이 진짜 Kaggler 고수중의 고수다
등급은 위와 같이 5개이다. 여기서 GrandMaster가 꿈이다.
kaggle에서도 기본적으로 제공하는 infra다 마치 google의 colab의 쥬피터 노트북처럼, code의 노트북이 있다. code는 웹 기반 클라우드 에서 데이타를 분석하는 실행환경이다.
파이썬 뿐만아니라 R로 사용가능하다. 기존의 데이터의 분석용 코드를 작성할수도 있다.
대회 제출용 코드를 작성후 바로 제출도 가능하다
더불어 데이타셋을 공유 할 수도 있다.
경진 대회라서... 상금도 적지 않다. ^^** 가장큰건 150만 달러(17억 260만원) 되는 경우도 있었다.
경진대회는 예측값을 제출하는 전형적인 기존 대회로서
학습부터 예측까지 모두 자기 개발환경에서 진행하여 결과만을 제출하는 것이고
노트북에서 작성한 코드를 제출하면 학습과 예측 과정별 캐글의 자원으로 이후 진행하는
대회가 있다. 좀 특이한 형태로 참가자 전원에 개발환경 차이에 따른 피해가 없도록 하는게 점이 큰듯하다.
이후 경진대회 참가 부터 종료까지 단계별 상세한 팁을 전해준다.
1장 맨끝은 아예 타이틀이 상위권 진입의 팁을
이후 2장부터 6장까지의 주요 핵심을 타이타닉 대회를 기준으로 간단히 요약 설명한다.
더불어
이와 같이 인공지능 문제의 또다른 벽인 개발환경 자원 문제에 대해서도 아주 디테일하게
조언을 해준다.
인공지능 학습전의 전처리로 한정된 데이타를 유효하게 사용키 위해 분할의 개념인데
특히, 시계열 경우 분할의 개념을 설명하고 있다
2장은 경진대회의 평가지표를 설명한다.
문제, 데이타셋, 평가지표에 대해 설명한다.
각 여러 문제에 대해 설명하고 ,해당 문제와 관련된 지표와 관련 대회를 소개해준다.
크게 회귀와 분류문제를 설명한다.
데이타셋의 경우 정형데이타, 외부 데이타 , 시계열 데이타등을 소개한다.
평가지표에 대해서는
각 행데이타가 양성인지, 음성인지 예측값을 기준분류와 양성일 확률을 기준으로 하는지로
크게 나누어 각각 설명을 하고 있다.
평가지표와 목적함수 개념, 평가지표의 최적화등을 설명하고 있다.
특히, 2.7장에서는 데이터 정보 누출을 설명하는데 이책에서 처음으로 접한 주요 인공지능 문제 해결시 발생할수 있는 문제이다.
즉 우리가 예측해내려는 값이 학습 데이타에 존재해서 잘못 설계되는 함정같은것으로
설계시에는 우수하게 평가가 되는 경우이다.
여기까지가 캐글 전반에 대한 기본 설명이고
3장부터가 실제 캐글 도전시 또는 인공지능 머신러닝등을 할 때 필요한 단계들이다.
특징생성, 모델구축, 평가, 튜닝, 앙상블 까지 소개를 한다.
각장의 이해 난이도는
2장 경진대회의 평가지표가 높다, 여기서 읽다가 포기할수도 있다
3장의 경우 특징생성으로 이책에서 가장 중요하다고 한다.
모델의 성능을 높이는 요소로
대표적인 모델인 GBDT, 신경망등의 모델들은 어떤 특징들로 구성을 해야
효과적인지 설명을 한다.
더불어, 데이타가 없는 결측값의 경우 어떻게 특징을 만드는지 다양한 방법을 설명한다.
수치형 변수, 범주형 변수등 데이타의 유형에 따라 특징을 만드는 법을 설명한다.
심지어 자연어 와 같은 단어같은 경우도 처리하는 방법도 소개한다.
이외 다양한 방법을 소개하며
3장의 끝에는 경진대회별로 특징을 만들어 내는 방법을 간략히 소개한다.
3장, 4장, 5장, 6장, 7장은 통상 인공지능 절차 마다의 방법론을 설명하고 있다.
특히 4장은 머신러닝, 딥러닝에 자주 등장하는 인공지능 모델에 대해 나온다
이책에서 수도 없이 나오는 검증 방법중에 추천하는 교차검증의 개념도 이다.
경진대회의 전체적인 흐름도를 개념도로 간략히 설명해보이고 있다
가장 많이 언급되는 신경망 이라던지, 캐글에서 인기스타인 GBDT, XGBOOST 등 주인공들이
여기서 다루어 진다.
kaggle 하면 절대 빠지지 않는 단골손님 GBDT다 캐글아닌 다른 서적에서는 보기 힘든대
유독 캐글에선 스타인듯하다
Xgboost, lightbgm등 기타 개념도를 보이고 있다
인공지능에서 절대 빠지지 않는 신경망중 다층 퍼셉트론을 보이고 있다.
그리고, 드디어, 여기 4 장부터 수학이 등장하기 시작한다.
인공지능에 가장 많이 언론에 등장하는 신경망도 여기서 언급된다.
관련서적에 주로 등장하는 케라스, 파이토치,텐서플로 등이 등장한다.
그다음 인공지능을 개선하기 위한 절차인 평가로서
5장 모델평가 로서 내용상 2장의 경진대회 평가지표와 내용이 많이 유사하다.
2장은 대회 주최측에서 참가자들을 평가할 때 사용하는 내용이고, 5장은 참가자들이 자기가 만든 모델을 평가하기 위한 방법들이 나온다.
대표선수 교차검증도 여기서 언급된다.
특히, 검증시 까다로운 시계열 데이터의 검증방법이 눈에 띤다.
우훗, 갑자기 무능력해지는 나를 발견하는 ㅎㅎㅎ ^^;;;;
개인적으로는 시계열 주제에 관심이 많아 이책의 시계열 관련 내용들을 주로 봤다.
6장 튜닝의 경우 자동차 성능을 개선하기 위해 튜닝을 하듯, 자기가 만든 모델의 예측성능을 개선하기 위해 튜닝하는 내용이 나온다. 매개변수를 통한 성능개선으로 여기서 베이즈 최적화가 나오는데 이또한 베이즈 확률이라는 수학이 등장한다. GBDT, 신경망등 주로 사용하는 모델의 튜닝예를 보여준다.
선형모델 튜닝의 경우엔 라소회귀 리지회귀, L1정규화,L2정규화등.... 수학이 등장한다.
자기가 설계한 모델의 수많은 특징중 무엇을 선택해야 될지를 중요도에 따라 선택해내는 방법을 설명하는데 여기서도 피어슨 적률상관계수, 스피어만 상관계수, 카이제곱, 정보량등
수학과 정보공학 내용이 등장한다.
그리고 데이터가 고루 분포된 경우가 아닌 경우 어떻게 튜닝을 해야 되는지도 설명한다.
이책에서 읽기 가~~장 힘들었던 Column이 나온다 바로
베이즈 최적화 TPE알고리즘 부분인데...
방법론을 설명하면서
등장하는 Integral 적분기호와 통계확률 용어, 베이즈정리, 확률밀도분포등등... 처음엔 통계, 확률 자료 찾아보다가 다른 인공지능책을 찾아보다... 구글링하다가... 하다 하다... 무조건 읽어내려갔다...나의 기존 지식과 상상력과 이해도를 Full 로 끌어올려 읽었다 ^^;;;
7장 앙상블 기법
이건 딴게 아니라 무수한 모델링 방법들이 인공지능 과정별로 각각 있으며 각 방법들마다 파라미터들이 많은데 이중 해당 문제에 적합한 방법 몇 개의 결과를 섞어서 예측을 하는 방법이다. 우리로 치면 비빔밥에 해당될까?
여기서 백짓장도 맡들면 가볍다는 말이 나오는데
캐글은 보통 개인으로 참가 하는경우보다 팀으로 구성되는 경우가 많은데
팀내에 여러명이 모델링을 다른 방법으로 하고 이를 합쳐서 예측하는것도 앙상블에 해당되더라.
스태킹이란 방법도 있는데 앙상블의 결과를 연이어 다음 앙상블에 활용하고 또 이결과를 다음 앙상블에 활용하는식으로 중첩화 시켜나가는 앙상블을 스태킹(쌓아올리다)이라 한다.
이런 것들을 할 때 주의 사항들을 알려준다.
캐글에서 앙상블시 인기스타는 GBDT, 신경망인 듯 하다.
그리고 장의 말미엔 실제 캐글 대회에서 어떻게 사용되는지 예를 보여준다.
맨 마지막 페이지에 있는 캐글 대회 응모자의 구성도를 보여주고 있다.
일본의 캐글 대표선수 4분이 모여서 2019년도 버전으로 만든 것을 역자님께서 2021년 버전으로 다듬어 내놓은 것으로 인공지능 딥러닝 머신러닝 개론서에 있던 내용을 경진대회를 통해서 어떻게 활용하고 특히, 캐글에서 우수입상을 위해선 실효적인 팁들은 무었이 있는지, 그리고 개인적으로 캐글 고급레벨자로써 어떤것들이 꿀팁인지 알려준다.
캐글을 진정원한다면
다독을 권한다.
인공지능, 머신,딥러닝의 초보자로서 최선을 다해 읽었지만 앞으로도 수차례
더 읽어야 완전한 이해가 될듯합니다.
개인적으로 최근에 읽은 책중 난독으로 손꼽는 책이 조던 B 피터슨 교수님의 “질서너머” 였는데 이책의 수학부분에 부딪치며 수학을 좀더 잘하면 얼마나 좋을까...간절해지는 ...시간으로
쉽지만은 않앗다 ^^;;;
내것으로 만들기 위해선 다독이 필요한 책으로 보인다.
YES24 리뷰어클럽 서평단 자격으로 작성한 리뷰입니다.