빅데이터가 아름답지 않은 이유.

너나 나나 자꾸 빅데이터 분석만 하면 원하는 결과가 아주 턱턱 나올 것처럼 아름다운 이야기들을 내놓고 있는데.데이터가 커진다는건 그만큼 노이즈도 많아지게 되고, 그럴수록 오히려 정확한 결과를 도출하기가 더 힘들어지는 것을 알고 그런 이야기를 하는지 모르겠다. 

아주 잘 정제된 깨끗한 데이터라면, 물론 데이터가 클 수록 분석시에 선택할 수 있는 옵션이 많아져서 결과가 당연히 좋아지겠지만. 요즘 빅데이터라고 부를만큼 큰 양질의 데이터는 극히 드물게 존재하고, 이제는 다양한 환경과 취향 분석에 심심찮게 쓰이는 트위터 분석조차도 그 데이터의 정제에 상당한 노력과 시간을 필요로 한다. 게다가 이러한 노력, 시간을 들인 후에라도 그 결과에 대한 최소한의 신뢰도를 보장하는게 너무나 어려운 일임을 좀 알고 기사 좀 쓰시라고.

데이터 분석의 아름다운 이야기만 알리지 말고, 어려운 점도 좀 알려졌으면 한다. 그래야 분석하는 사람들을 제대로 인정해줄거 아냐. 빅데이터빅데이터 하면서 나중에 국가적으로 "분석가를 양산"해놓고 지금의 개발자들 처럼 또 이들도 제대로 된 대접을 안해줄까봐 걱정이다. 

국가 보조금으로 운영하는 "데이터 분석가 전문가 3개월 과정" 이딴것들이 생기지 않기를 진심으로 바란다. (벌써 있나...?;;;)