[Economist] 데이터 홍수 (The data deluge)

데이터 홍수

Feb 25th 2010 |
From The Economist print edition

산업, 정부, 사회가 이제 막 그 엄청난 잠재력을 이용하기 시작했다

18개월 전, Li & Fung이라는 소매상을 위한 유통 체인을 관리하는 한 회사는 그들의 네트워크를 통해서 하루에 100기가 바이트의 정보가 흘러가는 것을 보았다. 이제, 그 양은 10배가 늘었다. 2009년 동안 미국의 무인 항공기는 이라크와 아프가니스탄 등지를 비행하며 24년의 길이에 해당하는 비디오 화면을 전송했다. 올해 배치될 새 모델은 과거의 기종에 비해서 10배에 달하는 실시간 데이터를 전송할 것이고, 2011년에는 30배로 늘어날 것이다.

당신이 어디를 보든, 전 세계에서 정보의 양은 증가하고 있다. 한 측정에 따르면 인류는 2005년 150 엑사바이트 (백만기가바이트)의 데이터를 생성했다. 올해, 1,200 엑사 바이트를 생성할 것이다. 단순히 이 정보의 홍수를 쫓아가는 것과 유용해 보이는 것을 저장하는 것 조차 어려워졌다. 이들을 분석하고, 패턴을 찾아내고, 유용한 정보를 추출해 내는 것은 더욱 어렵다. 그럼에도, 이 데이터의 홍수는 벌써 산업, 정부, 과학 그리고 일상 생활을 변화시키기 시작했다. 이는 소비자, 기업 그리고 정부가 언제 데이터의 흐름을 규제하고, 언제 촉진 시킬지에 대한 올바른 판단을 하는 한 호혜적인 커다란 잠재력을 가지고 있다.

쓰레기 더미에서 다이아몬드를 뽑아내기

몇몇 산업이 데이터를 수집하고 활용하는 능력을 기르는데 앞장서고 있다. 신용카드 회사들은 모든 상거래를 살펴보고 수십 억 개의 거래에서 뽑아낸 몇 규칙들을 적용하여 사기성 거래가 무엇인지 높은 정확도로 구별해 낸다. 예를 들어 거래를 감추기 쉽기 때문에 도난 된 신용카드는 와인보다는 위스키를 사는데 많이 사용된다. 보험회사들도 단서들을 조합하여 의심스러운 지불 요청 찾아내는데 능하다. 사기성 지불 요구는 화요일보다는 월요일에 많이 발생하는데, 왜냐하면 사고를 꾸며내는 보험계약자들은 주말 동안 가짜 목격자 역할을 할 친구들을 포섭하는 경향이 있기 때문이다. 이러한 많은 규칙들을 적용하여 어떤 카드가 도난 된 것일 가능성이 크고, 어떤 지불 요구가 의심스러운지 알아낼 수 있다.

한편, 이동 통신사들도 가입자들의 전화 이용 행태를 분석하여, 예들 들면 그들이 가장 자주 연락하는 상대가 경쟁사의 가입자인지 등을 알아낼 수 있다. 만약 경쟁사가 그 가입자를 끌어가기 위한 좋은 조건의 프로모션을 진행한다면, 이들을 붙잡아 두기 위한 다른 인센티브를 제시할 수도 있다. 오래된 산업들도 최근에는 요즘 등장하는 산업들처럼 열성적으로 데이터를 이용하고 있다. 오프라인과 온라인 상점들은 데이터 마이닝의 대가들이다. (혹은 “비지니스 인텔리젼스” 현재 알려진 것 처럼) 장바구니 정보를 분석하여 슈퍼마켓들은 딱 맞는 프로모션을 특정 고객의 입맛에 맞게 제공할 수 있다. 석유 산업에서는 시추 전에 슈퍼 컴퓨터를 사용하여 지진 발생 데이터를 철저하게 분석한다. 그리고 천문학자들은 별들을 향한 망원경 처럼 소프트웨어 질의 도구를 디지털로 된 천체 측량에 이용한다.

아직도 갈 길은 멀다. 몇 년의 노력에도 불구하고, 법의 집행과 정보 기관의 데이터베이스는 대체로 연결되어있지 않다. 의료 보험에서, 의료 기록의 디지털화는 치료 경향을 발견하고 감시하고, 다른 치료법들의 효과를 평가는 것을 훨씬 쉽게 만들어 줄 수 있다. 하지만 의료 기록들을 전산화 하려는 폭넓은 노력들은 관료적이고, 기술적이며 또한 윤리적인 문제에 봉착하는 경향이 있다. 온라인 광고는 이미 오프라인 광고보다 훨씬 더 정확하게 타켓팅 되고 있지만 더 개인화되어 나아갈 수 있는 여지가 있다.

이것이 현실화 되면 광고주들을 돈을 더 지불한 용의가 있을 것이며, 결국 이러한 광고를 받아들일 준비가 된 소비자들은 더 풍부하고 넓은 범위의 무료 온라인 서비스를 제공 받을 수 있음을 의미한다. 그리고 정부는 뒤늦게 범죄자, 지도, 공공 서비스 실행에 대한 정부 계약의 세부 사항 및 통계 등 더 많은 정보를 대중에게 공개하려는 계획에 착수했다. 사람들은 이러한 정보를 새로운 방법으로 재활용하여 사업을 시작하던지, 혹은 민선 공무원에게 책임을 물을 수 있을 것이다. 이러한 새로운 기회를 잡은 기업이나 혹은 다른 이들이 그럴 수 있게 도구를 제공한 기업은 번창할 것이다. “Business Intelligence”는 소프트웨어 산업에서 가장 빠르게 성장하는 분야 중 하나이다. 

좋지 않은 소식들

하지만 데이터의 홍수도 몇몇 위험을 야기한다. 예로 가득 찬 데이터베이스가 도난 당한다면, 사회 보장 연금 정보로 가득 찬 디스크들이 사라질 수도 있고, 세금 정보를 저장해 놓은 랩탑을 택시에 두고 내릴 수도 있고, 신용카드 정보가 온라인 소매상에서 유출 될 수도 있다. 결과는 개인 정보의 침해, 도용, 그리고 사기이다. 개인 정보 위반은 이러한 범법 행위가 없어도 가능하다. 페이스북이나 구글이 예상치 않게 그들의 온라인 소셜 네트워크의 개인 정보 설정을 변경하고 이는 자신도 모르게 개인 정보 공개를 초래한다. 더욱 해로운 위협이 다양한 종류의 “Big Brother”화 된 것들, 특별히 정부가 기업들에게 그들의 고객정보를 넘겨달라고 강요 할 때 등에 의해 초래된다. 자신의 개인 정보를 소유하고 관리하는 것 대신에, 사람들은 그 정보에 대한 통제권을 잃어버린다.

이러한 데이터 홍수의 단점들에 대처하는 가장 좋은 방법은 역설적으로 다양한 분야에서 더 투명성을 가지기를 요구해서 더 많은 데이터를 올바른 방법으로 공개하는 것이다. 첫 째, 사용자들에게는 그들에 대한 정보를 더 잘 접근하고 누구와 공유할 것인지 설정할 지가 포함된, 관리할 수 있는 권한이 주어져야 한다. 예를 들어 구글은 이용자들에게 구글이 이용자들의 어떤 정보를 가지고 있는지 볼 수 있게 하고, 그들의 검색기록을 삭제할 수 있으며, 광고의 대상을 수정할 수 있게 한다. 둘째로, 세계의 몇몇 지역에서는 이미 현실화 되었지만 기관에게는 관리자들이 정보 보안을 더 심각하게 생각할 수 있도록 보안 결함들의 세부 사항을 공개하는 것이 요구된다. 세 번째로, 기관들은 연례 보안 감사의 대상이 되어야 하며 결과 등급은 대중에게 공개 되어야 한다. (비록 공개된 문제의 세부 사항들까지는 아니더라도) 이는 기업들에게 그들의 보안을 최신으로 유지하게 하는 동기부여가 될 수 있다.

데이터를 잘 관리하는 기업이 아닌 기업에 비해서 선호되는 환경에서 이는 구매 충동에 본격적으로 영향을 미칠 것이다. 이 세 분야에서의 뛰어난 투명성은 보안을 증대시키고, 혁신을 억누르는 복잡한 규제가 필요 없이도 사람들에게 더 많은 그들의 데이터에 대한 권한을 줄 것이다. 결국, 데이터 홍수에 대처하는 배움의 과정이, 그리고 어떻게 그것을 이용할 수 있을지 알아내는 과정이, 이제 막 시작되었다.

영어 원문

[#M_ more.. | less.. | 

The data deluge

Businesses, governments and society are only starting to tap its vast potential

Feb 25th 2010 | From The Economist print edition

EIGHTEEN months ago, Li & Fung, a firm that manages supply chains for retailers, saw 100 gigabytes of information flow through its network each day. Now the amount has increased tenfold. During 2009, American drone aircraft flying over Iraq and Afghanistan sent back around 24 years’ worth of video footage. New models being deployed this year will produce ten times as many data streams as their predecessors, and those in 2011 will produce 30 times as many.

Everywhere you look, the quantity of information in the world is soaring. According to one estimate, mankind created 150 exabytes (billion gigabytes) of data in 2005. This year, it will create 1,200 exabytes. Merely keeping up with this flood, and storing the bits that might be useful, is difficult enough. Analysing it, to spot patterns and extract useful information, is harder still. Even so, the data deluge is already starting to transform business, government, science and everyday life (see our special report in this issue). It has great potential for good—as long as consumers, companies and governments make the right choices about when to restrict the flow of data, and when to encourage it.

Plucking the diamond from the waste

A few industries have led the way in their ability to gather and exploit data. Credit-card companies monitor every purchase and can identify fraudulent ones with a high degree of accuracy, using rules derived by crunching through billions of transactions. Stolen credit cards are more likely to be used to buy hard liquor than wine, for example, because it is easier to fence. Insurance firms are also good at combining clues to spot suspicious claims: fraudulent claims are more likely to be made on a Monday than a Tuesday, since policyholders who stage accidents tend to assemble friends as false witnesses over the weekend. By combining many such rules, it is possible to work out which cards are likeliest to have been stolen, and which claims are dodgy.

Mobile-phone operators, meanwhile, analyse subscribers’ calling patterns to determine, for example, whether most of their frequent contacts are on a rival network. If that rival network is offering an attractive promotion that might cause the subscriber to defect, he or she can then be offered an incentive to stay. Older industries crunch data with just as much enthusiasm as new ones these days. Retailers, offline as well as online, are masters of data mining (or “business intelligence”, as it is now known). By analysing “basket data”, supermarkets can tailor promotions to particular customers’ preferences. The oil industry uses supercomputers to trawl seismic data before drilling wells. And astronomers are just as likely to point a software query-tool at a digital sky survey as to point a telescope at the stars.

There’s much further to go. Despite years of effort, law-enforcement and intelligence agencies’ databases are not, by and large, linked. In health care, the digitisation of records would make it much easier to spot and monitor health trends and evaluate the effectiveness of different treatments. But large-scale efforts to computerise health records tend to run into bureaucratic, technical and ethical problems. Online advertising is already far more accurately targeted than the offline sort, but there is scope for even greater personalisation.

Advertisers would then be willing to pay more, which would in turn mean that consumers prepared to opt into such things could be offered a richer and broader range of free online services. And governments are belatedly coming around to the idea of putting more information—such as crime figures, maps, details of government contracts or statistics about the performance of public services—into the public domain. People can then reuse this information in novel ways to build businesses and hold elected officials to account. Companies that grasp these new opportunities, or provide the tools for others to do so, will prosper. Business intelligence is one of the fastest-growing parts of the software industry.

Now for the bad news

But the data deluge also poses risks. Examples abound of databases being stolen: disks full of social-security data go missing, laptops loaded with tax records are left in taxis, credit-card numbers are stolen from online retailers. The result is privacy breaches, identity theft and fraud. Privacy infringements are also possible even without such foul play: witness the periodic fusses when Facebook or Google unexpectedly change the privacy settings on their online social networks, causing members to reveal personal information unwittingly. A more sinister threat comes from Big Brotherishness of various kinds, particularly when governments compel companies to hand over personal information about their customers. Rather than owning and controlling their own personal data, people very often find that they have lost control of it.

The best way to deal with these drawbacks of the data deluge is, paradoxically, to make more data available in the right way, by requiring greater transparency in several areas. First, users should be given greater access to and control over the information held about them, including whom it is shared with. Google allows users to see what information it holds about them, and lets them delete their search histories or modify the targeting of advertising, for example. Second, organisations should be required to disclose details of security breaches, as is already the case in some parts of the world, to encourage bosses to take information security more seriously. Third, organisations should be subject to an annual security audit, with the resulting grade made public (though details of any problems exposed would not be). This would encourage companies to keep their security measures up to date.

Market incentives will then come into play as organisations that manage data well are favoured over those that do not. Greater transparency in these three areas would improve security and give people more control over their data without the need for intricate regulation that could stifle innovation. After all, the process of learning to cope with the data deluge, and working out how best to tap it, has only just begun.

_M#]

[Economist] 데이터, 사방의 데이터 (Data, Data everywhere)

데이터, 사방의 데이터

Feb 25th 2010 |
From The Economist print edition

정보가 희박한 상태에서 넘쳐나도록 바뀌었다. 이것이 Kenneth Cukier의 말처럼 많은 이점을 가져다 주었지만, 또한 골칫거리 이기도 하다.

 

슬로운 디지털 스카이 서베이가 2000년에 시작되었을 때, 뉴멕시코에 있는 망원경은 첫 몇 주 동안 천문학 역사 전체에 걸쳐 수집된 것 보다 많은 데이터를 모았다. 10년이 지난 현재, 그들의 저장소에는 140테라 바이트라는 엄청난 양의 정보가 저장되어있다. 2016년에 칠레에 설치될 이의 후속 Large Synoptic Survey 망원경은 이 정도 양의 데이터를 5일 이면 모을 것이다.

이러한 천문학적인 양의 정보는 지구에 더 가까운 곳에서도 찾을 수 있다. 거대 소매상 월 마트는 1백만 건의 소비자 구매 건을 처리하고 2.5 페타 바이트 이상으로 측정되는 데이터베이스에 이들을 보관한다. 이는 미의회도서관에 있는 책의 167배에 달하는 양이다. 소셜 네트워크 웹 사이트 페이스북은 400억 개의 사진을 보유하고 있다. 그리고 인간 유전자에 포함된 30억 기본 쌍을 분석하는데 최초로 이것이 이루어졌던 2003년에는 10년이 걸렸지만 지금은 1주면 충분하다.

이러한 모든 예들은 같은 것을 시사한다. 세계에는 상상도 할 수 없을 만큼 거대한 양의 디지털 정보들이 점점 더 거대해지고, 더 빠르게 늘어나고 있다. 이는 예전에는 이룰 수 없었던, 비지니스 트랜드를 파악하고, 질병을 예방하고, 범죄와 싸우는 등을 가능하게 해준다. 잘 관리 된다면, 이러한 데이터는 과학에 있어서 신선한 통찰을 제시하고, 정부에 책임을 묻는 등, 새로운 경제적 가치의 원천으로 활용될 수 있다.

하지만 이들은 또한 다수의 문제점을 만들어낸다. 센서, 컴퓨터, 모바일 폰 등의 이러한 모든 정보를 얻고, 처리하고, 공유하는 도구들은 넘쳐나지만, 이들을 저장할 가용 공간이 크게 부족하다. 게다가, 전세계적으로 어느 때보다 활발하게 정보가 복제되고 공유되는 때에 데이터의 보안과 사생활 보호 등은 점점 더 어려워지고 있다.

존스 홉킨스 대학의 천체 물리학자 Alex Szalay는 데이터의 풍족함이 오히려 이들을 더 다루기 어렵게 만든다고 지적한다. 그는 “어떻게 이 모든 데이터를 이해해야 하나요? 사람들은 다음 세대를 어떻게 교육시킬지에 대해서 고민해야 합니다. 과학자 뿐 아니라, 정부나 산업에서 일하는 사람 모두요.” 라고 말한다.

“우리는 너무도 많은 정보들이 만드는 이전과는 다른 세상을 살고 있습니다.” 사회에서의 정보의 역사에 관한 다수의 책을 집필한 IBM의 James Cortada는 말한다. UC 버클리의 컴퓨터 과학자 Joe Hellerstein은 이것을 “데이터의 산업 혁명”이라고 부른다. 이의 영향력은 산업분야에서 과학분야까지, 정부에서 예술 분야까지 모든 곳에서 느낄 수 있다. 과학자들과 컴퓨터 기술자들은 이러한 현상을 “big data”라고 불러왔다.

인식론적으로 말해서, 정보는 데이터의 집합으로 구성되고, 지식은 각각의 서로 다른 정보들의 묶음으로 구성된다. 하지만 이 스페셜 리포트에서는 “데이터”“정보”를 서로 혼용해서 사용한다. 왜냐하면, 나중에 다루어지겠지만, 이 둘은 서로 구분하기 점점 어려워지고 있다. 주어진 충분한 양의 순수한 데이터에서, 현재의 알고리즘과 강력한 컴퓨터들을 가지고 과거에는 숨겨져 있었던 새로운 통찰을 발견해 낼 수 있다.

정보 관리 산업 – 어떤 조직이 그들의 풍부한 데이터를 이해하도록 돕는 – 은 대폭 성장하고 있다. 최근 몇 년간 오라클, IBM, 마이크로소프트 그리고 이들 사이의 SAP은 150억불 이상을 데이터를 관리하고 분석하는데 특화된 소프트웨어 기업을 사들이는데 썼다. 이 산업은 최소 1000억불 이상의 값어치로 평가되며 대충 소프트웨어 산업 전체가 성장하는 속도의 2배인 연간 10% 정도 성장하고 있다.

최고 정보 관리 책임자는 경영진 사이에서 그 중요성이 커져왔고, 또한 소프트웨어 프로그래머, 통계학자 그리고 스토리 텔러/예술가의 기술을 모두 가지고 산처럼 많은 데이터 속에 숨겨진 금 덩어리를 발견하는 데이터 과학자라는 새로운 형태의 전문가가 등장했다. 구글의 최고 경제 전문가 Hal Varian은 이런 통계 전문가의 직업이 가장 매력적이 될 것이라고 예측했다. 그가 설명하기를, 데이터는 어디에나 존재하지만 그 속에서 지혜를 찾아내는 능력은 부족하다는 것이다.

모든 것 그 이상

이러한 정보의 폭발에는 여러 이유가 있다. 가장 확실한 것 하나는 기술이다. 디지털 기기의 능력이 발전하고 가격은 곤두박질 치면서 센서나, 미니기기들은 예전에는 불가능했던 엄청나게 많은 정보를 디지털화 시키고 있다. 그리고 더욱 더 많은 사람들이 더 강력한 도구들을 사용하고 있다. 예를 들어서 세계적으로는 46억 명의 모바일 폰 가입자가 존재한다. (많은 사람들이 하나 이상을 사용하기 때문에, 이러한 수치가 제시하는 것 만큼 세계의 68억 인구 모두에게 보급되어 있지는 않다.) 그리고 10억에서 20억의 사람들이 인터넷을 사용한다.

게다가, 정보를 통해 의사 소통하는 사람들이 더욱 증가했다. 1990년과 2005년 사이에 세계적으로 10억의 사람이 중산층 계급에 진입했다. 그들이 더 부유해지고, 문맹에서 벗어남에 따라, 정보양의 증가에 기여했다고 Cortada씨는 말한다. 그 결과는 정치, 경제 뿐 아니라 법 등의 각 분야에서 나타났다. “과학에서의 혁명 전에 측량에서의 혁명이 있었습니다.” 뉴욕 대학의 경영학 교수 Sinal Aral는 말한다. 현미경이 세균을 발견하여 생물학을 변화시키고, 전자 현미경이 물리학을 변화시킨 것처럼, 모든 이러한 데이터는 사회 과학을 거꾸로 뒤집고 있다고 그는 설명했다. 연구자들은 인간의 행동을 인구 차원의 레벨이 아닌 개인 레벨에서 이해하는 것이 가능해졌다.

디지털 정보의 양은 매 5년마다 10배씩 증가하고 있다. 컴퓨터 산업에서 이제는 당연시되는 무어의 법칙은 컴퓨터 칩의 프로세스 파워와 저장 용량이 두 배가 되고 가격은 절반이 되는데 18개월이 걸린다 한다. 소프트웨어 프로그램도 나날이 향상되고 있다. 프린스턴 대학의 컴퓨터 과학자 Edward Felten은 컴퓨터 어플리케이션들을 구동시키는 알고리즘의 발전이 지난 몇 십 년 동안 무어의 법칙의 중요한 부분으로서 역할을 해왔다고 측정한다.

이러한 정보의 많은 양이 공유되고 있다. 통신장비 메이커인 Cisco에 따르면 2013년까지 인터넷을 통해 흘러 다니는 트래픽의 양은 연간 667 엑사바이트에 달할 것이라고 한다. 그리고 데이터의 양은 지속적으로 네트워크가 운송할 수 있는 양보다 더 빠른 속도로 증가할 것이라 한다. 사람들은 그들이 정보의 늪에서 허우적댄다고 불평해왔다. 1917년으로 돌아가 한 코네티컷의 제조 회사의 매니져는 전화의 영향에 대해서 불평을 했다. : “시간은 낭비되고 혼란스러운 결과만 낳고, 돈은 돈대로 낭비된다.” 지금 일어나고 있는 일들은 점진적 증가 이상이 될 것이다. 양적인 팽창은 질적인 다름을 만들어내기 시작했다.

정보의 부족에서 과다에의 이동은 폭 넓은 변화를 가져온다. “우리가 관심 있는 것은 데이터를 통해 경제적인 성과를 낼 수 있는 능력이다. 그리고 이것은 나에게는 사회적 차원에서, 혹은 거시경제학 차원에서의 큰 변화이다.” 라고 마이크로소프트의 연구와 전략 책임자 Graig Mundie는 말한다. 데이터는 자본이나 노동력과 거의 동등한 레벨의 경제적 인풋으로 경영의 새로운 원자재가 되고 있다. “매일 나는 잠에서 일어나 묻습니다, 어떻게 데이터를 잘 흘러가게 하고, 데이터를 잘 관리하고, 데이터를 잘 분석할 수 있을까?” 월마트의 CIO Rollin Ford는 말한다.

복잡한 정량적 분석은 과거처럼 미사일 궤도 분석이나 재정의 연계 전략 뿐 아니라 삶의 많은 분야에서 적용되어 왔다. 예를 들어, 마이크로소프트의 검색엔진 Bing의 일부분인 Farecast는 고객에게 항공 티켓을 지금 구입할지, 아니면 가격이 내려가기를 기다릴지를 2250억 개의 비행과 가격 기록을 살펴본 후 조언해 줄 수 있다. 같은 아이디어가 호텔 룸이나, 자동차, 비슷한 아이템까지 확장 될 수 있다. 개인 금융 웹 사이트와 은행들은 그들의 고객 데이터를 종합하여 거시 경제학 트랜드를 밝혀내고 이는 그들 자신의 노력을 통해 보조적인 비지니스로 발전될 수 있다. 숫자에 빠삭한 이들은 일본의 스모에서 승부 조작이 있었다는 사실까지 밝혀냈다.

쓰레기를 금으로

“데이터 배기가스” – 인터넷 사용자들이 뒤에 남기는 클릭의 자취에서 가치가 발견될 수 있다 – 가 인터넷 경제의 중심이 되고 있다. 예의 하나로서 검색 질의 문과의 연관성을 얼마나 많은 클릭이 그 대상에 있었느냐에 따라 측정하는 구글의 검색 엔진을 들 수 있다. 만약 어떤 검색어의 8번째 결과를 사람들이 가장 많이 방문한다면 이 알고리즘은 이것을 가장 위에 위치 시킨다.

세계가 점점 디지털로 변화하면서 데이터를 모으고 분석하는 것이 다른 분야에서도 막대한 양의 이익을 가져다 줄 수 있다. 예를 들어, 마이크로소프트의 Mundie와 구글의 CEO, Eric Schmidt는 미국 건강 보험의 개혁을 위한 대통령 테스크 포스에 임명되었다. “일의 초기 단계에서는 Eric과 저 모두는 말했죠. ‘보세요, 당신이 만약 정말로 건강 보험을 개혁하기를 원한다면, 당신은 기본적으로 사람들과 관련된 데이터에서 일종의 건강 보험 경제 구조를 만들어야 합니다.’ “ Mundie는 설명했다. “건강 보험을 제공하는 것의 산출물로서 데이터를 생각하면 안됩니다, 그 대신 데이터는 건강 보험의 모든 면을 어떻게 증진 시킬지 구체화 시키려는 과정에서의 중심적인 자산이 되어야 합니다. 이는 약간의 도치입니다.”

틀림없이, 디지털 기록은 의사들을 편하게 만든다. 공급자와 환자를 위한 가격을 낮추고 치료의 질을 높인다. 하지만 종합적으로 데이터는 원치 않은 마약 거래나, 가장 효과적인 치료법을 찾아내거나, 증상이 나타나기 전에 질병의 시작을 예측하기 위해서도 사용되고 있다. 컴퓨터는 벌써 이러한 일을 시도하고 있지만, 명시적으로 이러한 목적으로 프로그램 될 필요가 있다. 거대한 데이터의 세계에서는 사물의 연관 관계들이 이들에 의해 수면 위로 떠오른다.

때로는 이러한 데이터들이 의도한 것 이상을 밝혀내기도 한다. 예를 들어 캘리포니아에 있는 Oakland 시에서는 언제 어디서 검거가 이루어졌는지 정보를 Oakland Crimespotting이라는 사설 웹 사이트에 공개했다. 어느 순간, 몇몇의 클릭이 매춘을 위해 분주한 거리 전체를 경찰은 월요일 저녁을 제외하고는 매일 순찰한다는, 그들이 숨기고 싶었던 전략을 밝혀냈다. 

하지만 많은 양의 데이터는 이러한 결과들보다 훨씬 더 심각한 결과를 낸다. 최근의 금융 위기 기간에 은행과 신용 평가 기관들이 엄청난 양의 정보를 이용하면서도 현실 세계의 금융 위험을 제대로 반영하는데 실패한 모델에 의존했다는 사실이 명확해졌다. 이는 거대한 양의 데이터에 의해 촉발된 첫 번째 위기였다. 그리고 이러한 예는 앞으로도 더 있을 것이다. 

정보가 관리되는 방법은 삶에 전반적으로 영향을 미친다. 20세기로의 변화의 시점에 전신이나 전화 같은 새로운 채널을 통한 정보의 흐름이 대량 생산을 뒷받침했다. 현대의 풍부한 데이터의 가용성이 기업들로 하여금 세계 곳곳에 위치한 작은 틈새 시장를 노릴 수 있게 한다. 경제적인 생산이 관리자가 모든 기계과 작업을 감시하여 이를 더 효율적으로 만드는 공장의 기본이었다. 지금 통계학자들은 경영에서 새로운 아이디어를 위한 정보를 발굴한다.

“데이터 중심의 경제가 이제 막 선보였을 뿐입니다.” 라고 마이크로소프트의 Mundie는 선언했다. “대충의 윤곽은 확인할 수 있습니다. 하지만 기술적인, 기반 시설의 그리고 비지니스 모델에의 영향들은 현재로서는 잘 이해되지 않습니다.” 이 스페셜 리포트는 어디에서 이러한 현상들이 나타날지를 가리키게 될 것이다.

영어 원문

[#M_ more.. | less.. | 

A special report on managing information

Feb 25th 2010 |
From The Economist print edition

Data, data everywhere

Information has gone from scarce to superabundant. That brings huge new benefits, says Kenneth Cukier (interviewed here)—but also big headaches

WHEN the Sloan Digital Sky Survey started work in 2000, its telescope in New Mexico collected more data in its first few weeks than had been amassed in the entire history of astronomy. Now, a decade later, its archive contains a whopping 140 terabytes of information. A successor, the Large Synoptic Survey Telescope, due to come on stream in Chile in 2016, will acquire that quantity of data every five days.

Such astronomical amounts of information can be found closer to Earth too. Wal-Mart, a retail giant, handles more than 1m customer transactions every hour, feeding databases estimated at more than 2.5 petabytes—the equivalent of 167 times the books in America’s Library of Congress (see article for an explanation of how data are quantified). Facebook, a social-networking website, is home to 40 billion photos. And decoding the human genome involves analysing 3 billion base pairs—which took ten years the first time it was done, in 2003, but can now be achieved in one week.

All these examples tell the same story: that the world contains an unimaginably vast amount of digital information which is getting ever vaster ever more rapidly. This makes it possible to do many things that previously could not be done: spot business trends, prevent diseases, combat crime and so on. Managed well, the data can be used to unlock new sources of economic value, provide fresh insights into science and hold governments to account.

But they are also creating a host of new problems. Despite the abundance of tools to capture, process and share all this information—sensors, computers, mobile phones and the like—it already exceeds the available storage space (see chart 1). Moreover, ensuring data security and protecting privacy is becoming harder as the information multiplies and is shared ever more widely around the world.

Alex Szalay, an astrophysicist at Johns Hopkins University, notes that the proliferation of data is making them increasingly inaccessible. “How to make sense of all these data? People should be worried about how we train the next generation, not just of scientists, but people in government and industry,” he says.

“We are at a different period because of so much information,” says James Cortada of IBM, who has written a couple of dozen books on the history of information in society. Joe Hellerstein, a computer scientist at the University of California in Berkeley, calls it “the industrial revolution of data”. The effect is being felt everywhere, from business to science, from government to the arts. Scientists and computer engineers have coined a new term for the phenomenon: “big data”.

Epistemologically speaking, information is made up of a collection of data and knowledge is made up of different strands of information. But this special report uses “data” and “information” interchangeably because, as it will argue, the two are increasingly difficult to tell apart. Given enough raw data, today’s algorithms and powerful computers can reveal new insights that would previously have remained hidden.

The business of information management—helping organisations to make sense of their proliferating data—is growing by leaps and bounds. In recent years Oracle, IBM, Microsoft and SAP between them have spent more than $15 billion on buying software firms specialising in data management and analytics. This industry is estimated to be worth more than $100 billion and growing at almost 10% a year, roughly twice as fast as the software business as a whole.

Chief information officers (CIOs) have become somewhat more prominent in the executive suite, and a new kind of professional has emerged, the data scientist, who combines the skills of software programmer, statistician and storyteller/artist to extract the nuggets of gold hidden under mountains of data. Hal Varian, Google’s chief economist, predicts that the job of statistician will become the “sexiest” around. Data, he explains, are widely available; what is scarce is the ability to extract wisdom from them.

More of everything

There are many reasons for the information explosion. The most obvious one is technology. As the capabilities of digital devices soar and prices plummet, sensors and gadgets are digitising lots of information that was previously unavailable. And many more people have access to far more powerful tools. For example, there are 4.6 billion mobile-phone subscriptions worldwide (though many people have more than one, so the world’s 6.8 billion people are not quite as well supplied as these figures suggest), and 1 billion-2 billion people use the internet.

Moreover, there are now many more people who interact with information. Between 1990 and 2005 more than 1 billion people worldwide entered the middle class. As they get richer they become more literate, which fuels information growth, notes Mr Cortada. The results are showing up in politics, economics and the law as well. “Revolutions in science have often been preceded by revolutions in measurement,” says Sinan Aral, a business professor at New York University. Just as the microscope transformed biology by exposing germs, and the electron microscope changed physics, all these data are turning the social sciences upside down, he explains. Researchers are now able to understand human behaviour at the population level rather than the individual level.

The amount of digital information increases tenfold every five years. Moore’s law, which the computer industry now takes for granted, says that the processing power and storage capacity of computer chips double or their prices halve roughly every 18 months. The software programs are getting better too. Edward Felten, a computer scientist at Princeton University, reckons that the improvements in the algorithms driving computer applications have played as important a part as Moore’s law for decades.

A vast amount of that information is shared. By 2013 the amount of traffic flowing over the internet annually will reach 667 exabytes, according to Cisco, a maker of communications gear. And the quantity of data continues to grow faster than the ability of the network to carry it all.

People have long groused that they were swamped by information. Back in 1917 the manager of a Connecticut manufacturing firm complained about the effects of the telephone: “Time is lost, confusion results and money is spent.” Yet what is happening now goes way beyond incremental growth. The quantitative change has begun to make a qualitative difference.

This shift from information scarcity to surfeit has broad effects. “What we are seeing is the ability to have economies form around the data—and that to me is the big change at a societal and even macroeconomic level,” says Craig Mundie, head of research and strategy at Microsoft. Data are becoming the new raw material of business: an economic input almost on a par with capital and labour. “Every day I wake up and ask, ‘how can I flow data better, manage data better, analyse data better?” says Rollin Ford, the CIO of Wal-Mart.

Sophisticated quantitative analysis is being applied to many aspects of life, not just missile trajectories or financial hedging strategies, as in the past. For example, Farecast, a part of Microsoft’s search engine Bing, can advise customers whether to buy an airline ticket now or wait for the price to come down by examining 225 billion flight and price records. The same idea is being extended to hotel rooms, cars and similar items. Personal-finance websites and banks are aggregating their customer data to show up macroeconomic trends, which may develop into ancillary businesses in their own right. Number-crunchers have even uncovered match-fixing in Japanese sumo wrestling.

Dross into gold

“Data exhaust”—the trail of clicks that internet users leave behind from which value can be extracted—is becoming a mainstay of the internet economy. One example is Google’s search engine, which is partly guided by the number of clicks on an item to help determine its relevance to a search query. If the eighth listing for a search term is the one most people go to, the algorithm puts it higher up.

As the world is becoming increasingly digital, aggregating and analysing data is likely to bring huge benefits in other fields as well. For example, Mr Mundie of Microsoft and Eric Schmidt, the boss of Google, sit on a presidential task force to reform American health care. “Early on in this process Eric and I both said: ‘Look, if you really want to transform health care, you basically build a sort of health-care economy around the data that relate to people’,” Mr Mundie explains. “You would not just think of data as the ‘exhaust’ of providing health services, but rather they become a central asset in trying to figure out how you would improve every aspect of health care. It’s a bit of an inversion.”

To be sure, digital records should make life easier for doctors, bring down costs for providers and patients and improve the quality of care. But in aggregate the data can also be mined to spot unwanted drug interactions, identify the most effective treatments and predict the onset of disease before symptoms emerge. Computers already attempt to do these things, but need to be explicitly programmed for them. In a world of big data the correlations surface almost by themselves.

Sometimes those data reveal more than was intended. For example, the city of Oakland, California, releases information on where and when arrests were made, which is put out on a private website, Oakland Crimespotting. At one point a few clicks revealed that police swept the whole of a busy street for prostitution every evening except on Wednesdays, a tactic they probably meant to keep to themselves.

But big data can have far more serious consequences than that. During the recent financial crisis it became clear that banks and rating agencies had been relying on models which, although they required a vast amount of information to be fed in, failed to reflect financial risk in the real world. This was the first crisis to be sparked by big data—and there will be more.

The way that information is managed touches all areas of life. At the turn of the 20th century new flows of information through channels such as the telegraph and telephone supported mass production. Today the availability of abundant data enables companies to cater to small niche markets anywhere in the world. Economic production used to be based in the factory, where managers pored over every machine and process to make it more efficient. Now statisticians mine the information output of the business for new ideas.

“The data-centred economy is just nascent,” admits Mr Mundie of Microsoft. “You can see the outlines of it, but the technical, infrastructural and even business-model implications are not well understood right now.” This special report will point to where it is beginning to surface.

_M#]