내블로그 | 랜덤블로그 쪽지
페이퍼 콘츄롤 센터
http://blog.yes24.com/gamaksae
리스트 | RSS
태그 & 테마링 | 방명록
까막새
종이를 지배하는 세계 종말론
프로필 쪽지 친구추가
12월 스타지수 : 별1,680
댓글알리미 비글 : 사용안함
전체보기
기본 카테고리
나의 리뷰
Wish List
My Story
My Favorites
서평이벤트
나의 리뷰
기본 카테고리
나의 메모
기본 카테고리
태그
외동딸 원소이야기 나는나랑논다 여행 그레이마켓 경제예측 시니어 오키나와 노인인구 노인
2021 / 12
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31
월별보기
나의 친구
나의 친구들
최근 댓글
ㅎ 저도 주석에 놀랐습니다 ^^ 아슬.. 
와~~ 정말 멋진 후기네요. 
진솔한 리뷰 잘 읽었습니다. 리뷰중 .. 
재미있어요 
ㅎㅎ 리뷰가 재미있네요. 책을 사보고.. 
새로운 글
오늘 10 | 전체 21080
2003-12-02 개설

전체보기
당신이 몰랐던, 무시했던, 제외했던 데이터가 가져오는 공포의 결과 | 기본 카테고리 2021-10-16 16:26
http://blog.yes24.com/document/15248637복사Facebook 보내기 트위터 보내기

[도서]다크 데이터

데이비드 핸드 저/노태복 역
더퀘스트 | 2021년 10월

내용     편집/구성     구매하기

당신이 몰랐던, 무시했던, 제외했던 데이터가 가져오는 공포의 결과

위 상품을 구매하면, 리뷰등록자에게 상품판매대금의 3%가 적립됩니다. (상품당 최대 적립금액 1,000원) 애드온 2 안내


 

 

다크 데이터 : 당신이 몰랐던, 무시했던, 제외했던 데이터가 가져오는 공포의 결과

 

 

 

데이터가 미래의 식량이라는 이야기는 많이 들어봤을 것이다.

하루 일과를 시작해서 마무리할 때까지 우리가 알던 모르던 발자국처럼 쏟아내는 데이터는 차곡차곡 각자 필요로 하는 회사들의 서버에 저장이 되고 있고, 부지런한 회사는 의미 있는 데이터로 만들고 제안을 하고 유혹을 하기위해 가공의 작업을 진행하고 있다.

어떤 데이터는 VALUE=1이라고 표기되고 어떤 데이트는 0으로 표기되어 분기되어 처리될 지도 모른다.

식사를 한 장소, 금액, 주기, 사용카드, 주문메뉴.

점심 한끼를 통해 생성되는 데이터는 누적되고 다른 사람의 데이터와 합쳐지고 나뉘면서 의미 있는 숫자로 기업의 자산이 되어 간다.

 

한가지 재미난 것은 이런 과정에서 숨어있는 값들도 쌓여 간다는 사실이다.

어떤 데이터는 우리가 알지도 못한 채 숨어있거나 삭제되고, 어떤 데이터는 임의로 삭제시키거나 다른 데이터와 혼동을 일으킬 수 있다.

보통 사회과학에서는 우리가 무시해도 될 데이터는 생략하거나 제거하여 연구대상에 빼놓아도 무방한 경우가 많지만, 여기에 통계 같은 숫자가 들어가면 이야기가 달라진다.

숨어있는 존재의 숫자가 전체에 어떤 영향을 끼칠지 실제 고민해보지 않는다면 전혀 엉뚱한 결과치를 가지고 세상 사람들이 거짓된 허상을 믿게 될 수도 있다.

 

책에는 비극적인 우주여행의 상징인 챌린지호 사례가 등장한다.

계속되는 발사 지연이 관계자들의 밥줄에 영향을 미칠 수준이다 보니, 일부 적은 데이터는 무시되기도 했다. 로켓의 단 격차를 해결하는 작은 고무링의 온도에 의한 변형데이터는 무시되었고 또는 알 지 못했던 사례를 충분히 고려하지 못했다. 여러 발사실험에서는 기온이 크게 낮지 않아 문제가 되지 않았지만 막상 실제 발사 당일 기온이 떨어지면서 사전 시뮬레이션에는 잡히지 않았던 링의 변화가 커진 결과가 현실화되었고 여기에서 비극적인 폭발의 원인이 시작되었다고 한다.

흔히 무시해도 좋을 만한 통계적 제거가 우주비행사들의 목숨을 앗아간 최악의 사건으로 기록된 단초가 된다.

 

다크 데이터 이렇듯, 우리가 알거나 모르거나 모든 생성과정에서 등장하여 상당수는 영향없이 무시되기도 하지만, 심각한 왜곡으로 우리의 삶을 전혀 의도하지 않았던 미래로 끌고 나가기도 한다.

그리고 그 결과 챌린저 호의 비극 같은 일로 우리를 최악으로 몰아넣기도 한다.


 

재미난 사례도 등장한다

이베이에 올린 빈티지 맥주 Ailsopp의 이름을 오타로 p를 하나 빼놓았다고 한다. 최저 경매가 299달러에 304달러 낙찰. 여기까지 괜찮다. 이 제품을 낙찰 받은 주인공이 제대로 철자를 써서 올렸는데 결과는 놀랍게도 157건 입찰에 50만 달러에 낙찰된다.

P자 하나로 제대로 검색이 안된 결과 이런 극과 극의 결과가 나타나고 이는 우리 실생활 어디에서나 등장할 수 있는 사고에 가까운 사례이다.

 

책에서 다루는 다크 데이터의 유형은 15가지이다.

물론 여기에 속하지 않는 범주도 얼마든지 있을 수 있음을 우리는 알고 있어야 한다.

 

DD 유형 1: 빠져 있는지 우리가 아는 데이터

DD 유형 2: 빠져 있는지 우리가 모르는 데이터

DD 유형 3: 일부 사례만 선택하기

DD 유형 4: 자기 선택

DD 유형 5: 중요한 것이 빠짐

DD 유형 6: 존재했을 수도 있는 데이터

DD 유형 7: 시간에 따라 변하는 데이터,

DD 유형 8: 데이터의 정의

DD 유형 9: 데이터의 요약

DD 유형 10: 측정 오차 및 불확실성

DD 유형 11: 피드백과 게이밍

DD 유형 12: 정보 비대칭

DD 유형 13: 의도적인 다크 데이터

DD 유형 14: 조작된 합성 데이터

DD 유형 15: 데이터 너머로 외삽하기

 

 

이런 유형에 대한 이해가 필요한 분야 중 금융은 특히 관심을 가지고 데이터를 살펴봐야 한다. 생존자 편향에 의해 펀드 수익률 중 실적이 나쁜 것들은 제외되고 양호한 펀드만 가지고 평균적인 수익률을 따진다면 사라진 데이터의 숨어있는 마이너스 실적이 드러나지 않게 되고 잘못된 투자결정을 하게 되어 우리의 호주머니에도 마이너스의 그림자가 드리워질 수 있다.

내 투자가 손해라니! 다크 데이터의 중요성이 뼈 속 깊이 새겨지고 있다!

 

다양한 유형의 다크 데이터를 살펴보며 비즈니스 활동은 물론이고 개인적인 과제를 수행할 때 데이터의 왜곡을 어떻게 지혜롭게 회피할 수 있을지에 대한 인사이트를 주는 책이다.

약간은 sf 소설 같은 겉표지와 데이터를 다루는 따분한 책으로 오해받을 수도 있지만, 다양한 사례에서 숨어있는 데이터들이 어떻게 무시되고 제외되며 그로 인해 다른 결과가 등장하는 일련의 사건들은 그 자체만으로도 읽을 만한 요소가 된다.

 

더욱이 우리의 저지를 수 있는 실수를 생생한 사례를 통해 머리속에 쏙쏙 집어넣을 수 있는 기회인 만큼 데이터를 통해 무엇인가 멋진 일을 하고 싶은 사람이라면 꼭 읽고 자주 들쳐봐야 하는 책임에는 이론의 여지가 없다.

 


 

  *출판사에서 도서를 제공받아 작성한 서평입니다.

이 글이 좋으셨다면 SNS로 함께 공감해주세요.
댓글(0) 트랙백(0)
이 리뷰를 | 추천 0        
진행중인 이벤트
나의 북마크
이벤트 세상