[Economist] 금을 위한 클릭 (Clicking for gold)

금을 위한 클릭

Feb 25th 2010 |
From The Economist print edition

인터넷 기업들은 웹의 데이터를 통해 어떻게 돈을 버는가?

잠깐! Amazon.com은 그들이 당신에 대해서 무엇을 알고 있는지 들키지 않기를 바란다. 그들은 당신이 구입한 책의 목록 뿐 아니라, 뒤적거렸으나 구입하지 않은 책을 기록하고 있으며 이를 이용해 다른 책을 추천하기도 한다. 그들의 e-book인 킨들로부터 수집한 정보는 한층 다양하다. 사용자가 각 페이지를 읽는데 얼마나 걸리는지, 별도의 노트를 하는지 등등. 하지만 아마존은 어떤 데이터들을 수집하고 그들을 어떻게 이용하는지 밝히기를 거부한다.

이뿐 아니다. 인터넷 산업 전체에 걸쳐 기업들은 사람들의 활동, 선호, 혐오, 다른 사람과의 관계, 어느 순간에 어느 위치에 있었는지 등에 대한 대량의 정보를 수집하면서도 침묵을 지키고 있다. 예를 들어 소셜 네트워킹 사이트 페이스북은 그들의 4억 이용자들의 활동을 기록하고, 이 중 절반은 매일 이 사이트에서 한 시간 가량을 보내지만 그들이 무엇을 수집하는지에 대해서는 침묵을 지키고 있다. 구글은 약간의 내용을 공개했지만, 나머지 대부분은 숨기고 있다. 온라인 경매 사이트 eBay 조차 침묵을 지킨다.

“그들은 이것이 이슈화 되는 것이 편치 않습니다. 왜냐하면 이것이 그들이 가지고 있는 경쟁력의 핵심이기 때문입니다.” 기술 전문가이자 발행인인 Tim O’Reilly는 말했다. “데이터는 법정 화폐와 같습니다. 이를 가지지 못한 다른 기업과 큰 격차를 벌릴 수 있게 해줍니다.” 웹에서 가장 큰 사이트 중 하나의 홍보 책임자는 “우리는 이 문제에 대해 심도 있게 논의할 위치에 있지 않습니다. 그것은 사생활 같은 민감한 고려 사항과는 별로 관계가 없습니다. 대신, 우리는 단지 우리의 전략을 드러내 놓을 준비가 되어 있지 않은 것입니다.” 라고 인정했다. 다시 말해, 기업은 소중한 업계의 비밀에 대해서 밝히고 싶지 않은 것이다.

이러한 침묵은 부분적으로 고객의 우려할 경우, 혹은 정부가 반갑지 않은 관심을 가질 경우에 대한 기업들의 염려를 반영한다. 하지만 이는 두 가지 이유에서 너무 근시안적이다. 첫째로, 정치가들과 대중은 이미 불안해하고 있다. 미 연방 무역 위원회의 회장 Jon Leibowitz는 산업 전체가 적극적으로 해결에 나서고 있지 않다고 공개적으로 비판했다. 둘째로, 만약 이용자가 어떻게 데이터가 이용되는지 안다면, 아마도 염려하기 보다는 인상 깊어 할 것이다.

전통적인 산업에서는 고객에 대한 정보를 그들의 구매나 설문조사에 의해 얻는 것이 일반적이었지만, 인터넷 기업들은 그들의 웹 사이트에서 일어나고 있는 모든 일로부터 데이터를 수집할 수 있는 풍요로움을 누리고 있다. 거대한 웹 사이트들은 정보 그 자체가 그들의 가장 큰 보물이라는 것을 오래 전부터 인식하고 있었다. 그리고 이러한 정보는 전통적인 기업들이 도저히 대적할 수 없는 방식으로 바로 사용될 수 있다.

이러한 기술 중 몇몇은 널리 이용되고 있다. 새로운 기능을 실제 구현하기 전에, 거대 사이트들은 어떤 것이 가장 잘 동작하는 지에 대한 통제된 실험을 진행한다. 영화를 대여해 볼 수 있게 제공하는 Amazon과 Netflix은 다른 사용자들이 무엇을 좋아하는 지에 기반하여 사용자들에게 영화를 추천하는 협업적 필터링이라 불리는 통계적 기법을 사용한다. 그들이 사용하는 기술로 인해 수백만 달러의 추가 매출이 일어났다. 거의 3분의 2에 해당하는 소비자의 선택이 컴퓨터에 의한 소개를 통해 이루어졌다.

첫 눈에 보기에는 중립적인 상업 거래를 위한 플랫폼 이상이 아닐 것 같은 eBay도 물건을 내놓는 행동, 입찰, 가격 동향, 검색어, 사용자가 한 페이지를 보는 시간 등 수집한 정보들을 통해 수없이 많은 조정을 한다. 모든 제품 분류는 능동적으로 관리되는 하나의 미시 경제처럼 다루어진다. 많이 검색되지만 잘 팔리지는 않는 고가의 상품은 충족되지 않은 요구를 나타내고, 따라서 eBay는 상품 게시를 늘리기 위해 판매자 보험을 제공할 파트너를 찾는다.

가지고 있는 데이터로부터 가장 많은 것을 얻어내는 기업은 구글이다. 상상할 수 없을 만큼 많은 양의 정보로부터 새로운 경제적 가치를 만들어 내는 것은 그들의 생명선이다. 이는 설립 11년이 지난 기업의 시가 총액이 조사 결과 1700억불에 달하는 것이 이상하게 느껴지지 않는 이유를 말해준다. 구글은 사용자와의 인터렉션이나, 자동적으로 서비스를 향상 시키거나 완전히 새로운 제품을 만들기 위해 재활용되는 data exhaust의 부산물인 정보를 활용하고 있다.

마우스를 통한 투표

구글의 창업자 중 한명인 Larry Page가 검색을 위한 페이지 랭크 알고리즘을 고안한 1998년까지 검색 엔진들은 구현 자체가 널리 공개된 시스템인 한 웹 페이지 상에서 한 단어가 몇 번이나 나타나는 지를 계산하는 방법으로 단어와 웹 페이지의 관계성을 결정했다. 구글의 혁신은 다른 페이지로부터 현재 페이지로 향하는 링크의 개수를 세는 것이다. 이러한 링크는 인터넷 사용자가 대체적으로 중요한 자료라고 믿는 것에 대한 투표 역할을 했다. 많은 인용이 책의 우수성을 말해주는 것처럼, 많은 링크는 그 웹 페이지가 더 유용하다는 것을 뜻한다.

구글의 시스템은 하나의 발전이었지만, 이를 속이기 위해 만들어진 “링크 스팸”의 남용에 취약했다. 구글의 기술자들은 실제 사용자가 클릭하거나 머물게 될 검색 결과로 노출 되었을 때 별점을 매기는 것이 해결책이라는 것을 깨달았다. 구글 검색은 1/4초 만에 2백만 개의 결과 페이지를 내놓지만, 사용자들은 오직 하나의 페이지만을 원하고 이를 선택함으로써 구글에게 그들이 무엇을 찾고 있었는지를 말해준다. 따라서 이 알고리즘은 서비스에 피드백된 정보를 통해 자동으로 재조정된다.

이를 통해 구글은 이것이 데이터 마이닝에 관련된 것이라는 사실을 깨달았다. 이 모델은 간단한 경제 용어로 바꾸어보면, 검색 결과를 통해 $1의 가치를 제공한다 하면, (이용자의 클릭 덕택에) 다시 1센트를 되돌려 받는 것이다. 다음 이용자가 방문했을 때, 그는 $1.01의 가치를 얻게 되고 이것이 반복된다. 한 직원은 이를 “우리는 거대하고 ‘산만한’ 데이터들을 통해 배우는 것을 좋아합니다.”라고 말했다.

커다란 데이터의 뒤에서 발전을 이루어내고 있는 것은 구글 만이 아니고, 또 새로운 기술도 아니다. 가장 눈에 띄는 예는 미 해군의 Matthew Fontaine Maury가 태평양을 건너는 선박들로부터 항해 일지를 수합하여 바람과 해류가 가장 적합한 경로를 찾을 수 있을 것이라고 생각했던 19세기 중반으로 거슬러 올라간다. 그는 그의 지도 사본을 항해 일지를 제공한 선장에게 제공해서 “전염적인” 소셜 네트워크의 색다른 초기 형태를 만들었다. 하지만 이 과정은 느렸고, 수고스러운 일이었다.

마법 스펠링

구글은 이러한 데이터들로부터 재귀적으로 학습하는 방법을 그들의 많은 서비스에도 적용하고 있고, 거의 모든 언어에서 아마 세계 최고의 맞춤법 검사기를 만들어낸 선구적인 방법에도 이것이 사용되고 있다. 마이크로소프트는 그들이 지난 20년 동안 그들의 워드프로세서를 위한 강력한 맞춤법 검사기능을 만드는데 수백만 달러를 썼다고 말한다. 하지만 구글은 이 기능을 위한 원료를 공짜로 얻었다. 그들의 프로그램은 사용자들이 검색 창에 타이핑한 잘못된 단어들과 올바른 결과를 클릭한 “교정”에 기초한다. 하루에 거의 30억에 달하는 검색 건으로 이러한 결과는 곧 산더미처럼 쌓인다. 1990년대의 다른 검색 엔진들도 같은 것을 할 수 있는 기회가 있었지만 실제 실행에 옮기지는 않았다. 2000년 경에 야후가 이의 잠재력을 보았지만, 실천에 옮기지는 않았다. 사용자와 상호작용의 쓰레기 더미에서 금가루를 발견하고 이 모두를 수집하는 수고를 떠맡은 것은 구글이었다.

최근 구글의 2가지 서비스인 번역과 음성인식도 같은 방식이다. 양쪽 모두 인공 지능 분야의 컴퓨터 과학자들에게는 커다란 장애물이었다. 40년이 넘는 기간 동안 과학자들은 언어의 음성과 구조를 이해하는 컴퓨터를 만들기 위해 노력해왔다. 이는 올바른 시제 등을 가지는 한 문장에서 어디에 명사와 동사가 위치하는지 등의 규칙을 정의하는 것을 의미한다. 규칙에 어긋나는 모든 예외들 역시 입력되어야 했다. 이와는 반대로 구글은, 이를 많은 데이터와 연산 능력만 있으면 풀 수 있는 커다란 수학 문제로 보았고, 실제 유용한 해결책을 찾아내었다.

번역을 위해서 구글은 그들의 다른 서비스들을 이용 할 수 있었다. 그들의 검색 시스템은 20여 개 국의 언어로 번역된 유럽 연합 집행 기관의 문서들을 찾아 낼 수 있다. 그들의 책을 스캐닝 하는 프로젝트는 다른 여러가지 언어로 번역된 수천개의 책 제목들을 가지고 있다. 이러한 모든 번역의 질은 표준을 준수하기 위해 전문가들에 의해 이루어져서 아주 좋은 상태이다. 따라서 컴퓨터에게 언어의 규칙을 가르치려 노력하는 대신에, 구글은 통계적 추론을 만들기 위해 텍스트 그 자체에 집중했다. 구글의 엔지니어인 Frans Och에 따르면 구글 번역기는 현재 50개 이상의 언어를 처리할 수 있다. 이 시스템은 한 언어의 단어나 구를 가지고 다른 언어에서의 가장 비슷한 동등어를 찾아낼 수 있다. 만약 직접 번역이 힘든 경우 (예를 들어, 힌두어와 카탈로니아어), 영어가 중간 다리 역할을 한다.

구글이 이러한 방법을 처음 사용한 것은 아니다. 1990년대 초반 IBM은 캐나다의 국회에서의 번역을 이용하여 프랑스어-영어 번역프로그램을 만드려 시도한 적이 있다. 하지만 제대로 동작하지 않았고, 이 프로젝트는 폐기 되었다. IBM은 오직 폐기 처분된 수백 만개의 문서를 가지고 있었다고 Och는 무시하듯이 말했다. 구글은 수십 억개를 가지고 있다. 구글의 시스템은 초기에 약 2조개의 단어를 처리하여 개발되었다. 엄청난 양의 데이터로 학습되었지만, 이는 맞춤법 검사와 검색의 재귀적인 특성이 부족했다.

이러한 피드백 루프의 디자인은 중요하다. 구글은 사용자들에게 그들의 의견을 묻지만 그 이상은 없다. 독일에서 개발된 Linguee라는 번역기는 조금 다른 방법을 시도한다. 사용자에게 가능한 번역의 샘플들을 제시하고 가장 적당한 것을 클릭하도록 한다. 이는 어떤 것이 가장 정확했는지에 대한 피드백이 될 수 있다.

음성 인식은 Data exhaust 이용의 중요성을 강조한다. 구글의 전화번호부나, 음성 자동차 내비게이션 서비스를 이용하기 위해서 고객은 특정 번호로 전화를 걸어 그들이 찾고 있는 것 (역: 목적지, 혹은 사람이름)이 무엇인지 말해야 한다. 시스템이 이를 재차 확인하여 말해주고, 사용자가 그것을 받아들이거나 다시 질의가 반복되면 시스템은 해당 단어가 말해질 수 있는 다양한 방법들에 대한 레코드를 남긴다. 그들은 목소리를 이해하는 것이 아니다. 확률을 계산한다.

이러한 서비스를 런칭하기 위해서 구글은 완성되어있는 음성 인식 시스템이 필요했고, 이 분야의 대표 기업인 Nuance로부터 소프트웨어 라이센스를 취득했었다. 하지만 구글 자신이 음성 질의에 대한 데이터를 가지고 있으므로, 그들의 음성 인식 시스템은 결국 현재 관련있는 모든 업체와의 제휴로 많은 데이터들에 대한 접근 권한을 얻으려 노력 중인 Nuance보다 좋은 성능을 낼 것이다.

데이터의 재이용은 어떻게 연산이 이루어지는 지에 대한 새로운 모델을 제시한다고 프린스턴 대학의 Edward Felten은 말한다. “커다란 데이터 집합들을 보고 어떤 일들이 함께 일어나고 있는지를 추론하는 것은 기대했던 것보다 훨씬 빠르게 발전하고 있습니다. ‘이해’는 과대 평가된 것으로 밝혀지고 있고 통계적인 분석이 이를 대체하고 있습니다.” 많은 인터넷 기업들도 이제 이러한 시각을 가지고 있다. 페이스북은 사용을 촉진시키기 위해서 그들의 엄청난 양의 데이터베이스를 정기적으로 검사하고 있다. 이용자가 그 사이트의 활성화에 기여할지 여부를 예측하는 가장 좋은 변수는 이용자의 친구들이 활동적이었는지 보는 것이라는 것을 찾아냈고, 따라서 가입자들에게 그들의 친구들이 온라인 상에서 푹 빠져 있었던 것에 대한 정보를 보내주었다. 온라인 게임 회사인 Zynga는 그들의 게임을 발전시키기 위해서 1억 명의 고유 플레이어를 매달 추적한다.

“만약 이용자가 생성하는 생성 데이터를 손에 넣을 수 있으면, 우리들은 단지 알고리즘을 개선 시키는 것보다 훨씬 좋은 시스템을 개발 할 수 있을 것입니다.” 과거 아마존의 최고 과학자였고, 지금은 스탠포드 대학에 있는 Andreas Weigend는 말했다. 많은 기업에서 이사로 재직 중인 벤처 투자자이자, 웹의 첫 번째 상업용 브라우저였던 Netscape의 창업자인 Marc Andreessen은 “이러한 새로운 기업들은 커다란 양의 데이터를 다룰 수 있는 문화, 프로세스, 기술을 만들어 왔고 이는 전통적인 기업들이 간단히 가질 수 없는 것이다.” 라고 생각한다.

Data exhaust의 재활용은 구글 제국에서 진행 중인 수많은 프로젝트들의 공통 주제이자, 왜 그들 대부분이 “베타” 혹은 초기 테스트 버전 이라는 딱지를 붙이고 있는지 설명해준다. 그들은 정말로 끊임없는 개발이 진행 중인 것이다. 구글 이용자로 하여금 의료 기록을 저장할 수 있게 해주는 서비스는 구글에게 질병과 치료에 대한 유용한 패턴을 찾아낼 수 있게 할 것이다. 이용자들이 그들의 장치 각각의 전기 소비량을 감시할 수 있게 해주는 서비스는 에너지 소비에 대한 풍부한 정보를 제공할 것이다. 이는 세계 최고의 가전제품과 전자기기들에 대한 데이터 베이스가 될 것이고 이를 통해 고장을 예측할 수도 있을 것이다. 구글이 무료로 공개하고 있는 수집된 검색 질의들을 이용하면 소매 매출부터 플루의 창궐까지 모든 것들을 높은 정확성으로 예측할 수 있을 것이다.

통틀어, 이 모든 것들은 구글의 원대한 목표 “세계의 정보를 조직화”와 일맥상통한다. 아직은 단어를 신중하게 써야 한다. 구글은 데이터를 소유할 필요가 없다. 일반적으로 구글이 원하는 것은 데이터에 접근할 권리를 가지는 것이다. (그리고 그의 라이벌들은 그럴 수 없는 상황이다) 작년 9월 조용히 시작된 “데이터 해방 운동”이라 불리는 새로운 시도에서 구글은 그들의 모든 서비스를 변경하여 사용자들이 서비스들을 쉽게 중단하고, 그들의 데이터를 회수할 수 있도록 계획 중이다. 고객을 묶어 두는 것 에서 쌓아 올려진 산업에서, 구글은 “탈출을 위한 장벽”을 줄이기를 바란다고 말하고 있다. 이는 기술자들이 많은 최고 기술 기업의 저주인 ‘현재 상태에 안주’하지 않도록 도울 수 있을 것이다. 이 프로젝트는 이로 인해 사업 상 손실이 발생하기 시작하면 중단 될 수도 있다. 하지만 구글은 아마 사용자들이 자신들의 정보를 쉽게 거두어들일 수 있다는 사실을 알면 더 많은 정보를 구글과 나누고 싶어 할 것이라고 예상한다.