데이터 홍수
Feb 25th 2010 |
From The Economist print edition
산업, 정부, 사회가 이제 막 그 엄청난 잠재력을 이용하기 시작했다
18개월 전, Li & Fung이라는 소매상을 위한 유통 체인을 관리하는 한 회사는 그들의 네트워크를 통해서 하루에 100기가 바이트의 정보가 흘러가는 것을 보았다. 이제, 그 양은 10배가 늘었다. 2009년 동안 미국의 무인 항공기는 이라크와 아프가니스탄 등지를 비행하며 24년의 길이에 해당하는 비디오 화면을 전송했다. 올해 배치될 새 모델은 과거의 기종에 비해서 10배에 달하는 실시간 데이터를 전송할 것이고, 2011년에는 30배로 늘어날 것이다.
당신이 어디를 보든, 전 세계에서 정보의 양은 증가하고 있다. 한 측정에 따르면 인류는 2005년 150 엑사바이트 (백만기가바이트)의 데이터를 생성했다. 올해, 1,200 엑사 바이트를 생성할 것이다. 단순히 이 정보의 홍수를 쫓아가는 것과 유용해 보이는 것을 저장하는 것 조차 어려워졌다. 이들을 분석하고, 패턴을 찾아내고, 유용한 정보를 추출해 내는 것은 더욱 어렵다. 그럼에도, 이 데이터의 홍수는 벌써 산업, 정부, 과학 그리고 일상 생활을 변화시키기 시작했다. 이는 소비자, 기업 그리고 정부가 언제 데이터의 흐름을 규제하고, 언제 촉진 시킬지에 대한 올바른 판단을 하는 한 호혜적인 커다란 잠재력을 가지고 있다.
쓰레기 더미에서 다이아몬드를 뽑아내기
몇몇 산업이 데이터를 수집하고 활용하는 능력을 기르는데 앞장서고 있다. 신용카드 회사들은 모든 상거래를 살펴보고 수십 억 개의 거래에서 뽑아낸 몇 규칙들을 적용하여 사기성 거래가 무엇인지 높은 정확도로 구별해 낸다. 예를 들어 거래를 감추기 쉽기 때문에 도난 된 신용카드는 와인보다는 위스키를 사는데 많이 사용된다. 보험회사들도 단서들을 조합하여 의심스러운 지불 요청 찾아내는데 능하다. 사기성 지불 요구는 화요일보다는 월요일에 많이 발생하는데, 왜냐하면 사고를 꾸며내는 보험계약자들은 주말 동안 가짜 목격자 역할을 할 친구들을 포섭하는 경향이 있기 때문이다. 이러한 많은 규칙들을 적용하여 어떤 카드가 도난 된 것일 가능성이 크고, 어떤 지불 요구가 의심스러운지 알아낼 수 있다.
한편, 이동 통신사들도 가입자들의 전화 이용 행태를 분석하여, 예들 들면 그들이 가장 자주 연락하는 상대가 경쟁사의 가입자인지 등을 알아낼 수 있다. 만약 경쟁사가 그 가입자를 끌어가기 위한 좋은 조건의 프로모션을 진행한다면, 이들을 붙잡아 두기 위한 다른 인센티브를 제시할 수도 있다. 오래된 산업들도 최근에는 요즘 등장하는 산업들처럼 열성적으로 데이터를 이용하고 있다. 오프라인과 온라인 상점들은 데이터 마이닝의 대가들이다. (혹은 “비지니스 인텔리젼스” 현재 알려진 것 처럼) 장바구니 정보를 분석하여 슈퍼마켓들은 딱 맞는 프로모션을 특정 고객의 입맛에 맞게 제공할 수 있다. 석유 산업에서는 시추 전에 슈퍼 컴퓨터를 사용하여 지진 발생 데이터를 철저하게 분석한다. 그리고 천문학자들은 별들을 향한 망원경 처럼 소프트웨어 질의 도구를 디지털로 된 천체 측량에 이용한다.
아직도 갈 길은 멀다. 몇 년의 노력에도 불구하고, 법의 집행과 정보 기관의 데이터베이스는 대체로 연결되어있지 않다. 의료 보험에서, 의료 기록의 디지털화는 치료 경향을 발견하고 감시하고, 다른 치료법들의 효과를 평가는 것을 훨씬 쉽게 만들어 줄 수 있다. 하지만 의료 기록들을 전산화 하려는 폭넓은 노력들은 관료적이고, 기술적이며 또한 윤리적인 문제에 봉착하는 경향이 있다. 온라인 광고는 이미 오프라인 광고보다 훨씬 더 정확하게 타켓팅 되고 있지만 더 개인화되어 나아갈 수 있는 여지가 있다.
이것이 현실화 되면 광고주들을 돈을 더 지불한 용의가 있을 것이며, 결국 이러한 광고를 받아들일 준비가 된 소비자들은 더 풍부하고 넓은 범위의 무료 온라인 서비스를 제공 받을 수 있음을 의미한다. 그리고 정부는 뒤늦게 범죄자, 지도, 공공 서비스 실행에 대한 정부 계약의 세부 사항 및 통계 등 더 많은 정보를 대중에게 공개하려는 계획에 착수했다. 사람들은 이러한 정보를 새로운 방법으로 재활용하여 사업을 시작하던지, 혹은 민선 공무원에게 책임을 물을 수 있을 것이다. 이러한 새로운 기회를 잡은 기업이나 혹은 다른 이들이 그럴 수 있게 도구를 제공한 기업은 번창할 것이다. “Business Intelligence”는 소프트웨어 산업에서 가장 빠르게 성장하는 분야 중 하나이다.
좋지 않은 소식들
하지만 데이터의 홍수도 몇몇 위험을 야기한다. 예로 가득 찬 데이터베이스가 도난 당한다면, 사회 보장 연금 정보로 가득 찬 디스크들이 사라질 수도 있고, 세금 정보를 저장해 놓은 랩탑을 택시에 두고 내릴 수도 있고, 신용카드 정보가 온라인 소매상에서 유출 될 수도 있다. 결과는 개인 정보의 침해, 도용, 그리고 사기이다. 개인 정보 위반은 이러한 범법 행위가 없어도 가능하다. 페이스북이나 구글이 예상치 않게 그들의 온라인 소셜 네트워크의 개인 정보 설정을 변경하고 이는 자신도 모르게 개인 정보 공개를 초래한다. 더욱 해로운 위협이 다양한 종류의 “Big Brother”화 된 것들, 특별히 정부가 기업들에게 그들의 고객정보를 넘겨달라고 강요 할 때 등에 의해 초래된다. 자신의 개인 정보를 소유하고 관리하는 것 대신에, 사람들은 그 정보에 대한 통제권을 잃어버린다.
이러한 데이터 홍수의 단점들에 대처하는 가장 좋은 방법은 역설적으로 다양한 분야에서 더 투명성을 가지기를 요구해서 더 많은 데이터를 올바른 방법으로 공개하는 것이다. 첫 째, 사용자들에게는 그들에 대한 정보를 더 잘 접근하고 누구와 공유할 것인지 설정할 지가 포함된, 관리할 수 있는 권한이 주어져야 한다. 예를 들어 구글은 이용자들에게 구글이 이용자들의 어떤 정보를 가지고 있는지 볼 수 있게 하고, 그들의 검색기록을 삭제할 수 있으며, 광고의 대상을 수정할 수 있게 한다. 둘째로, 세계의 몇몇 지역에서는 이미 현실화 되었지만 기관에게는 관리자들이 정보 보안을 더 심각하게 생각할 수 있도록 보안 결함들의 세부 사항을 공개하는 것이 요구된다. 세 번째로, 기관들은 연례 보안 감사의 대상이 되어야 하며 결과 등급은 대중에게 공개 되어야 한다. (비록 공개된 문제의 세부 사항들까지는 아니더라도) 이는 기업들에게 그들의 보안을 최신으로 유지하게 하는 동기부여가 될 수 있다.
데이터를 잘 관리하는 기업이 아닌 기업에 비해서 선호되는 환경에서 이는 구매 충동에 본격적으로 영향을 미칠 것이다. 이 세 분야에서의 뛰어난 투명성은 보안을 증대시키고, 혁신을 억누르는 복잡한 규제가 필요 없이도 사람들에게 더 많은 그들의 데이터에 대한 권한을 줄 것이다. 결국, 데이터 홍수에 대처하는 배움의 과정이, 그리고 어떻게 그것을 이용할 수 있을지 알아내는 과정이, 이제 막 시작되었다.
영어 원문
[#M_ more.. | less.. |
The data deluge
Businesses, governments and society are only starting to tap its vast potential
Feb 25th 2010 | From The Economist print edition
EIGHTEEN months ago, Li & Fung, a firm that manages supply chains for retailers, saw 100 gigabytes of information flow through its network each day. Now the amount has increased tenfold. During 2009, American drone aircraft flying over Iraq and Afghanistan sent back around 24 years’ worth of video footage. New models being deployed this year will produce ten times as many data streams as their predecessors, and those in 2011 will produce 30 times as many.
Everywhere you look, the quantity of information in the world is soaring. According to one estimate, mankind created 150 exabytes (billion gigabytes) of data in 2005. This year, it will create 1,200 exabytes. Merely keeping up with this flood, and storing the bits that might be useful, is difficult enough. Analysing it, to spot patterns and extract useful information, is harder still. Even so, the data deluge is already starting to transform business, government, science and everyday life (see our special report in this issue). It has great potential for good—as long as consumers, companies and governments make the right choices about when to restrict the flow of data, and when to encourage it.
Plucking the diamond from the waste
A few industries have led the way in their ability to gather and exploit data. Credit-card companies monitor every purchase and can identify fraudulent ones with a high degree of accuracy, using rules derived by crunching through billions of transactions. Stolen credit cards are more likely to be used to buy hard liquor than wine, for example, because it is easier to fence. Insurance firms are also good at combining clues to spot suspicious claims: fraudulent claims are more likely to be made on a Monday than a Tuesday, since policyholders who stage accidents tend to assemble friends as false witnesses over the weekend. By combining many such rules, it is possible to work out which cards are likeliest to have been stolen, and which claims are dodgy.
Mobile-phone operators, meanwhile, analyse subscribers’ calling patterns to determine, for example, whether most of their frequent contacts are on a rival network. If that rival network is offering an attractive promotion that might cause the subscriber to defect, he or she can then be offered an incentive to stay. Older industries crunch data with just as much enthusiasm as new ones these days. Retailers, offline as well as online, are masters of data mining (or “business intelligence”, as it is now known). By analysing “basket data”, supermarkets can tailor promotions to particular customers’ preferences. The oil industry uses supercomputers to trawl seismic data before drilling wells. And astronomers are just as likely to point a software query-tool at a digital sky survey as to point a telescope at the stars.
There’s much further to go. Despite years of effort, law-enforcement and intelligence agencies’ databases are not, by and large, linked. In health care, the digitisation of records would make it much easier to spot and monitor health trends and evaluate the effectiveness of different treatments. But large-scale efforts to computerise health records tend to run into bureaucratic, technical and ethical problems. Online advertising is already far more accurately targeted than the offline sort, but there is scope for even greater personalisation.
Advertisers would then be willing to pay more, which would in turn mean that consumers prepared to opt into such things could be offered a richer and broader range of free online services. And governments are belatedly coming around to the idea of putting more information—such as crime figures, maps, details of government contracts or statistics about the performance of public services—into the public domain. People can then reuse this information in novel ways to build businesses and hold elected officials to account. Companies that grasp these new opportunities, or provide the tools for others to do so, will prosper. Business intelligence is one of the fastest-growing parts of the software industry.
Now for the bad news
But the data deluge also poses risks. Examples abound of databases being stolen: disks full of social-security data go missing, laptops loaded with tax records are left in taxis, credit-card numbers are stolen from online retailers. The result is privacy breaches, identity theft and fraud. Privacy infringements are also possible even without such foul play: witness the periodic fusses when Facebook or Google unexpectedly change the privacy settings on their online social networks, causing members to reveal personal information unwittingly. A more sinister threat comes from Big Brotherishness of various kinds, particularly when governments compel companies to hand over personal information about their customers. Rather than owning and controlling their own personal data, people very often find that they have lost control of it.
The best way to deal with these drawbacks of the data deluge is, paradoxically, to make more data available in the right way, by requiring greater transparency in several areas. First, users should be given greater access to and control over the information held about them, including whom it is shared with. Google allows users to see what information it holds about them, and lets them delete their search histories or modify the targeting of advertising, for example. Second, organisations should be required to disclose details of security breaches, as is already the case in some parts of the world, to encourage bosses to take information security more seriously. Third, organisations should be subject to an annual security audit, with the resulting grade made public (though details of any problems exposed would not be). This would encourage companies to keep their security measures up to date.
Market incentives will then come into play as organisations that manage data well are favoured over those that do not. Greater transparency in these three areas would improve security and give people more control over their data without the need for intricate regulation that could stifle innovation. After all, the process of learning to cope with the data deluge, and working out how best to tap it, has only just begun.
_M#]