데이터, 사방의 데이터
Feb 25th 2010 |
From The Economist print edition
정보가 희박한 상태에서 넘쳐나도록 바뀌었다. 이것이 Kenneth Cukier의 말처럼 많은 이점을 가져다 주었지만, 또한 골칫거리 이기도 하다.
슬로운 디지털 스카이 서베이가 2000년에 시작되었을 때, 뉴멕시코에 있는 망원경은 첫 몇 주 동안 천문학 역사 전체에 걸쳐 수집된 것 보다 많은 데이터를 모았다. 10년이 지난 현재, 그들의 저장소에는 140테라 바이트라는 엄청난 양의 정보가 저장되어있다. 2016년에 칠레에 설치될 이의 후속 Large Synoptic Survey 망원경은 이 정도 양의 데이터를 5일 이면 모을 것이다.
이러한 천문학적인 양의 정보는 지구에 더 가까운 곳에서도 찾을 수 있다. 거대 소매상 월 마트는 1백만 건의 소비자 구매 건을 처리하고 2.5 페타 바이트 이상으로 측정되는 데이터베이스에 이들을 보관한다. 이는 미의회도서관에 있는 책의 167배에 달하는 양이다. 소셜 네트워크 웹 사이트 페이스북은 400억 개의 사진을 보유하고 있다. 그리고 인간 유전자에 포함된 30억 기본 쌍을 분석하는데 최초로 이것이 이루어졌던 2003년에는 10년이 걸렸지만 지금은 1주면 충분하다.
이러한 모든 예들은 같은 것을 시사한다. 세계에는 상상도 할 수 없을 만큼 거대한 양의 디지털 정보들이 점점 더 거대해지고, 더 빠르게 늘어나고 있다. 이는 예전에는 이룰 수 없었던, 비지니스 트랜드를 파악하고, 질병을 예방하고, 범죄와 싸우는 등을 가능하게 해준다. 잘 관리 된다면, 이러한 데이터는 과학에 있어서 신선한 통찰을 제시하고, 정부에 책임을 묻는 등, 새로운 경제적 가치의 원천으로 활용될 수 있다.
하지만 이들은 또한 다수의 문제점을 만들어낸다. 센서, 컴퓨터, 모바일 폰 등의 이러한 모든 정보를 얻고, 처리하고, 공유하는 도구들은 넘쳐나지만, 이들을 저장할 가용 공간이 크게 부족하다. 게다가, 전세계적으로 어느 때보다 활발하게 정보가 복제되고 공유되는 때에 데이터의 보안과 사생활 보호 등은 점점 더 어려워지고 있다.
존스 홉킨스 대학의 천체 물리학자 Alex Szalay는 데이터의 풍족함이 오히려 이들을 더 다루기 어렵게 만든다고 지적한다. 그는 “어떻게 이 모든 데이터를 이해해야 하나요? 사람들은 다음 세대를 어떻게 교육시킬지에 대해서 고민해야 합니다. 과학자 뿐 아니라, 정부나 산업에서 일하는 사람 모두요.” 라고 말한다.
“우리는 너무도 많은 정보들이 만드는 이전과는 다른 세상을 살고 있습니다.” 사회에서의 정보의 역사에 관한 다수의 책을 집필한 IBM의 James Cortada는 말한다. UC 버클리의 컴퓨터 과학자 Joe Hellerstein은 이것을 “데이터의 산업 혁명”이라고 부른다. 이의 영향력은 산업분야에서 과학분야까지, 정부에서 예술 분야까지 모든 곳에서 느낄 수 있다. 과학자들과 컴퓨터 기술자들은 이러한 현상을 “big data”라고 불러왔다.
인식론적으로 말해서, 정보는 데이터의 집합으로 구성되고, 지식은 각각의 서로 다른 정보들의 묶음으로 구성된다. 하지만 이 스페셜 리포트에서는 “데이터”와 “정보”를 서로 혼용해서 사용한다. 왜냐하면, 나중에 다루어지겠지만, 이 둘은 서로 구분하기 점점 어려워지고 있다. 주어진 충분한 양의 순수한 데이터에서, 현재의 알고리즘과 강력한 컴퓨터들을 가지고 과거에는 숨겨져 있었던 새로운 통찰을 발견해 낼 수 있다.
정보 관리 산업 – 어떤 조직이 그들의 풍부한 데이터를 이해하도록 돕는 – 은 대폭 성장하고 있다. 최근 몇 년간 오라클, IBM, 마이크로소프트 그리고 이들 사이의 SAP은 150억불 이상을 데이터를 관리하고 분석하는데 특화된 소프트웨어 기업을 사들이는데 썼다. 이 산업은 최소 1000억불 이상의 값어치로 평가되며 대충 소프트웨어 산업 전체가 성장하는 속도의 2배인 연간 10% 정도 성장하고 있다.
최고 정보 관리 책임자는 경영진 사이에서 그 중요성이 커져왔고, 또한 소프트웨어 프로그래머, 통계학자 그리고 스토리 텔러/예술가의 기술을 모두 가지고 산처럼 많은 데이터 속에 숨겨진 금 덩어리를 발견하는 데이터 과학자라는 새로운 형태의 전문가가 등장했다. 구글의 최고 경제 전문가 Hal Varian은 이런 통계 전문가의 직업이 가장 매력적이 될 것이라고 예측했다. 그가 설명하기를, 데이터는 어디에나 존재하지만 그 속에서 지혜를 찾아내는 능력은 부족하다는 것이다.
모든 것 그 이상
이러한 정보의 폭발에는 여러 이유가 있다. 가장 확실한 것 하나는 기술이다. 디지털 기기의 능력이 발전하고 가격은 곤두박질 치면서 센서나, 미니기기들은 예전에는 불가능했던 엄청나게 많은 정보를 디지털화 시키고 있다. 그리고 더욱 더 많은 사람들이 더 강력한 도구들을 사용하고 있다. 예를 들어서 세계적으로는 46억 명의 모바일 폰 가입자가 존재한다. (많은 사람들이 하나 이상을 사용하기 때문에, 이러한 수치가 제시하는 것 만큼 세계의 68억 인구 모두에게 보급되어 있지는 않다.) 그리고 10억에서 20억의 사람들이 인터넷을 사용한다.
게다가, 정보를 통해 의사 소통하는 사람들이 더욱 증가했다. 1990년과 2005년 사이에 세계적으로 10억의 사람이 중산층 계급에 진입했다. 그들이 더 부유해지고, 문맹에서 벗어남에 따라, 정보양의 증가에 기여했다고 Cortada씨는 말한다. 그 결과는 정치, 경제 뿐 아니라 법 등의 각 분야에서 나타났다. “과학에서의 혁명 전에 측량에서의 혁명이 있었습니다.” 뉴욕 대학의 경영학 교수 Sinal Aral는 말한다. 현미경이 세균을 발견하여 생물학을 변화시키고, 전자 현미경이 물리학을 변화시킨 것처럼, 모든 이러한 데이터는 사회 과학을 거꾸로 뒤집고 있다고 그는 설명했다. 연구자들은 인간의 행동을 인구 차원의 레벨이 아닌 개인 레벨에서 이해하는 것이 가능해졌다.
디지털 정보의 양은 매 5년마다 10배씩 증가하고 있다. 컴퓨터 산업에서 이제는 당연시되는 무어의 법칙은 컴퓨터 칩의 프로세스 파워와 저장 용량이 두 배가 되고 가격은 절반이 되는데 18개월이 걸린다 한다. 소프트웨어 프로그램도 나날이 향상되고 있다. 프린스턴 대학의 컴퓨터 과학자 Edward Felten은 컴퓨터 어플리케이션들을 구동시키는 알고리즘의 발전이 지난 몇 십 년 동안 무어의 법칙의 중요한 부분으로서 역할을 해왔다고 측정한다.
이러한 정보의 많은 양이 공유되고 있다. 통신장비 메이커인 Cisco에 따르면 2013년까지 인터넷을 통해 흘러 다니는 트래픽의 양은 연간 667 엑사바이트에 달할 것이라고 한다. 그리고 데이터의 양은 지속적으로 네트워크가 운송할 수 있는 양보다 더 빠른 속도로 증가할 것이라 한다. 사람들은 그들이 정보의 늪에서 허우적댄다고 불평해왔다. 1917년으로 돌아가 한 코네티컷의 제조 회사의 매니져는 전화의 영향에 대해서 불평을 했다. : “시간은 낭비되고 혼란스러운 결과만 낳고, 돈은 돈대로 낭비된다.” 지금 일어나고 있는 일들은 점진적 증가 이상이 될 것이다. 양적인 팽창은 질적인 다름을 만들어내기 시작했다.
정보의 부족에서 과다에의 이동은 폭 넓은 변화를 가져온다. “우리가 관심 있는 것은 데이터를 통해 경제적인 성과를 낼 수 있는 능력이다. 그리고 이것은 나에게는 사회적 차원에서, 혹은 거시경제학 차원에서의 큰 변화이다.” 라고 마이크로소프트의 연구와 전략 책임자 Graig Mundie는 말한다. 데이터는 자본이나 노동력과 거의 동등한 레벨의 경제적 인풋으로 경영의 새로운 원자재가 되고 있다. “매일 나는 잠에서 일어나 묻습니다, 어떻게 데이터를 잘 흘러가게 하고, 데이터를 잘 관리하고, 데이터를 잘 분석할 수 있을까?” 월마트의 CIO Rollin Ford는 말한다.
복잡한 정량적 분석은 과거처럼 미사일 궤도 분석이나 재정의 연계 전략 뿐 아니라 삶의 많은 분야에서 적용되어 왔다. 예를 들어, 마이크로소프트의 검색엔진 Bing의 일부분인 Farecast는 고객에게 항공 티켓을 지금 구입할지, 아니면 가격이 내려가기를 기다릴지를 2250억 개의 비행과 가격 기록을 살펴본 후 조언해 줄 수 있다. 같은 아이디어가 호텔 룸이나, 자동차, 비슷한 아이템까지 확장 될 수 있다. 개인 금융 웹 사이트와 은행들은 그들의 고객 데이터를 종합하여 거시 경제학 트랜드를 밝혀내고 이는 그들 자신의 노력을 통해 보조적인 비지니스로 발전될 수 있다. 숫자에 빠삭한 이들은 일본의 스모에서 승부 조작이 있었다는 사실까지 밝혀냈다.
쓰레기를 금으로
“데이터 배기가스” – 인터넷 사용자들이 뒤에 남기는 클릭의 자취에서 가치가 발견될 수 있다 – 가 인터넷 경제의 중심이 되고 있다. 예의 하나로서 검색 질의 문과의 연관성을 얼마나 많은 클릭이 그 대상에 있었느냐에 따라 측정하는 구글의 검색 엔진을 들 수 있다. 만약 어떤 검색어의 8번째 결과를 사람들이 가장 많이 방문한다면 이 알고리즘은 이것을 가장 위에 위치 시킨다.
세계가 점점 디지털로 변화하면서 데이터를 모으고 분석하는 것이 다른 분야에서도 막대한 양의 이익을 가져다 줄 수 있다. 예를 들어, 마이크로소프트의 Mundie와 구글의 CEO, Eric Schmidt는 미국 건강 보험의 개혁을 위한 대통령 테스크 포스에 임명되었다. “일의 초기 단계에서는 Eric과 저 모두는 말했죠. ‘보세요, 당신이 만약 정말로 건강 보험을 개혁하기를 원한다면, 당신은 기본적으로 사람들과 관련된 데이터에서 일종의 건강 보험 경제 구조를 만들어야 합니다.’ “ Mundie는 설명했다. “건강 보험을 제공하는 것의 산출물로서 데이터를 생각하면 안됩니다, 그 대신 데이터는 건강 보험의 모든 면을 어떻게 증진 시킬지 구체화 시키려는 과정에서의 중심적인 자산이 되어야 합니다. 이는 약간의 도치입니다.”
틀림없이, 디지털 기록은 의사들을 편하게 만든다. 공급자와 환자를 위한 가격을 낮추고 치료의 질을 높인다. 하지만 종합적으로 데이터는 원치 않은 마약 거래나, 가장 효과적인 치료법을 찾아내거나, 증상이 나타나기 전에 질병의 시작을 예측하기 위해서도 사용되고 있다. 컴퓨터는 벌써 이러한 일을 시도하고 있지만, 명시적으로 이러한 목적으로 프로그램 될 필요가 있다. 거대한 데이터의 세계에서는 사물의 연관 관계들이 이들에 의해 수면 위로 떠오른다.
때로는 이러한 데이터들이 의도한 것 이상을 밝혀내기도 한다. 예를 들어 캘리포니아에 있는 Oakland 시에서는 언제 어디서 검거가 이루어졌는지 정보를 Oakland Crimespotting이라는 사설 웹 사이트에 공개했다. 어느 순간, 몇몇의 클릭이 매춘을 위해 분주한 거리 전체를 경찰은 월요일 저녁을 제외하고는 매일 순찰한다는, 그들이 숨기고 싶었던 전략을 밝혀냈다.
하지만 많은 양의 데이터는 이러한 결과들보다 훨씬 더 심각한 결과를 낸다. 최근의 금융 위기 기간에 은행과 신용 평가 기관들이 엄청난 양의 정보를 이용하면서도 현실 세계의 금융 위험을 제대로 반영하는데 실패한 모델에 의존했다는 사실이 명확해졌다. 이는 거대한 양의 데이터에 의해 촉발된 첫 번째 위기였다. 그리고 이러한 예는 앞으로도 더 있을 것이다.
정보가 관리되는 방법은 삶에 전반적으로 영향을 미친다. 20세기로의 변화의 시점에 전신이나 전화 같은 새로운 채널을 통한 정보의 흐름이 대량 생산을 뒷받침했다. 현대의 풍부한 데이터의 가용성이 기업들로 하여금 세계 곳곳에 위치한 작은 틈새 시장를 노릴 수 있게 한다. 경제적인 생산이 관리자가 모든 기계과 작업을 감시하여 이를 더 효율적으로 만드는 공장의 기본이었다. 지금 통계학자들은 경영에서 새로운 아이디어를 위한 정보를 발굴한다.
“데이터 중심의 경제가 이제 막 선보였을 뿐입니다.” 라고 마이크로소프트의 Mundie는 선언했다. “대충의 윤곽은 확인할 수 있습니다. 하지만 기술적인, 기반 시설의 그리고 비지니스 모델에의 영향들은 현재로서는 잘 이해되지 않습니다.” 이 스페셜 리포트는 어디에서 이러한 현상들이 나타날지를 가리키게 될 것이다.
영어 원문
[#M_ more.. | less.. |
A special report on managing information
Feb 25th 2010 |
From The Economist print edition
Data, data everywhere
Information has gone from scarce to superabundant. That brings huge new benefits, says Kenneth Cukier (interviewed here)—but also big headaches
WHEN the Sloan Digital Sky Survey started work in 2000, its telescope in New Mexico collected more data in its first few weeks than had been amassed in the entire history of astronomy. Now, a decade later, its archive contains a whopping 140 terabytes of information. A successor, the Large Synoptic Survey Telescope, due to come on stream in Chile in 2016, will acquire that quantity of data every five days.
Such astronomical amounts of information can be found closer to Earth too. Wal-Mart, a retail giant, handles more than 1m customer transactions every hour, feeding databases estimated at more than 2.5 petabytes—the equivalent of 167 times the books in America’s Library of Congress (see article for an explanation of how data are quantified). Facebook, a social-networking website, is home to 40 billion photos. And decoding the human genome involves analysing 3 billion base pairs—which took ten years the first time it was done, in 2003, but can now be achieved in one week.
All these examples tell the same story: that the world contains an unimaginably vast amount of digital information which is getting ever vaster ever more rapidly. This makes it possible to do many things that previously could not be done: spot business trends, prevent diseases, combat crime and so on. Managed well, the data can be used to unlock new sources of economic value, provide fresh insights into science and hold governments to account.
But they are also creating a host of new problems. Despite the abundance of tools to capture, process and share all this information—sensors, computers, mobile phones and the like—it already exceeds the available storage space (see chart 1). Moreover, ensuring data security and protecting privacy is becoming harder as the information multiplies and is shared ever more widely around the world.
Alex Szalay, an astrophysicist at Johns Hopkins University, notes that the proliferation of data is making them increasingly inaccessible. “How to make sense of all these data? People should be worried about how we train the next generation, not just of scientists, but people in government and industry,” he says.
“We are at a different period because of so much information,” says James Cortada of IBM, who has written a couple of dozen books on the history of information in society. Joe Hellerstein, a computer scientist at the University of California in Berkeley, calls it “the industrial revolution of data”. The effect is being felt everywhere, from business to science, from government to the arts. Scientists and computer engineers have coined a new term for the phenomenon: “big data”.
Epistemologically speaking, information is made up of a collection of data and knowledge is made up of different strands of information. But this special report uses “data” and “information” interchangeably because, as it will argue, the two are increasingly difficult to tell apart. Given enough raw data, today’s algorithms and powerful computers can reveal new insights that would previously have remained hidden.
The business of information management—helping organisations to make sense of their proliferating data—is growing by leaps and bounds. In recent years Oracle, IBM, Microsoft and SAP between them have spent more than $15 billion on buying software firms specialising in data management and analytics. This industry is estimated to be worth more than $100 billion and growing at almost 10% a year, roughly twice as fast as the software business as a whole.
Chief information officers (CIOs) have become somewhat more prominent in the executive suite, and a new kind of professional has emerged, the data scientist, who combines the skills of software programmer, statistician and storyteller/artist to extract the nuggets of gold hidden under mountains of data. Hal Varian, Google’s chief economist, predicts that the job of statistician will become the “sexiest” around. Data, he explains, are widely available; what is scarce is the ability to extract wisdom from them.
More of everything
There are many reasons for the information explosion. The most obvious one is technology. As the capabilities of digital devices soar and prices plummet, sensors and gadgets are digitising lots of information that was previously unavailable. And many more people have access to far more powerful tools. For example, there are 4.6 billion mobile-phone subscriptions worldwide (though many people have more than one, so the world’s 6.8 billion people are not quite as well supplied as these figures suggest), and 1 billion-2 billion people use the internet.
Moreover, there are now many more people who interact with information. Between 1990 and 2005 more than 1 billion people worldwide entered the middle class. As they get richer they become more literate, which fuels information growth, notes Mr Cortada. The results are showing up in politics, economics and the law as well. “Revolutions in science have often been preceded by revolutions in measurement,” says Sinan Aral, a business professor at New York University. Just as the microscope transformed biology by exposing germs, and the electron microscope changed physics, all these data are turning the social sciences upside down, he explains. Researchers are now able to understand human behaviour at the population level rather than the individual level.
The amount of digital information increases tenfold every five years. Moore’s law, which the computer industry now takes for granted, says that the processing power and storage capacity of computer chips double or their prices halve roughly every 18 months. The software programs are getting better too. Edward Felten, a computer scientist at Princeton University, reckons that the improvements in the algorithms driving computer applications have played as important a part as Moore’s law for decades.
A vast amount of that information is shared. By 2013 the amount of traffic flowing over the internet annually will reach 667 exabytes, according to Cisco, a maker of communications gear. And the quantity of data continues to grow faster than the ability of the network to carry it all.
People have long groused that they were swamped by information. Back in 1917 the manager of a Connecticut manufacturing firm complained about the effects of the telephone: “Time is lost, confusion results and money is spent.” Yet what is happening now goes way beyond incremental growth. The quantitative change has begun to make a qualitative difference.
This shift from information scarcity to surfeit has broad effects. “What we are seeing is the ability to have economies form around the data—and that to me is the big change at a societal and even macroeconomic level,” says Craig Mundie, head of research and strategy at Microsoft. Data are becoming the new raw material of business: an economic input almost on a par with capital and labour. “Every day I wake up and ask, ‘how can I flow data better, manage data better, analyse data better?” says Rollin Ford, the CIO of Wal-Mart.
Sophisticated quantitative analysis is being applied to many aspects of life, not just missile trajectories or financial hedging strategies, as in the past. For example, Farecast, a part of Microsoft’s search engine Bing, can advise customers whether to buy an airline ticket now or wait for the price to come down by examining 225 billion flight and price records. The same idea is being extended to hotel rooms, cars and similar items. Personal-finance websites and banks are aggregating their customer data to show up macroeconomic trends, which may develop into ancillary businesses in their own right. Number-crunchers have even uncovered match-fixing in Japanese sumo wrestling.
Dross into gold
“Data exhaust”—the trail of clicks that internet users leave behind from which value can be extracted—is becoming a mainstay of the internet economy. One example is Google’s search engine, which is partly guided by the number of clicks on an item to help determine its relevance to a search query. If the eighth listing for a search term is the one most people go to, the algorithm puts it higher up.
As the world is becoming increasingly digital, aggregating and analysing data is likely to bring huge benefits in other fields as well. For example, Mr Mundie of Microsoft and Eric Schmidt, the boss of Google, sit on a presidential task force to reform American health care. “Early on in this process Eric and I both said: ‘Look, if you really want to transform health care, you basically build a sort of health-care economy around the data that relate to people’,” Mr Mundie explains. “You would not just think of data as the ‘exhaust’ of providing health services, but rather they become a central asset in trying to figure out how you would improve every aspect of health care. It’s a bit of an inversion.”
To be sure, digital records should make life easier for doctors, bring down costs for providers and patients and improve the quality of care. But in aggregate the data can also be mined to spot unwanted drug interactions, identify the most effective treatments and predict the onset of disease before symptoms emerge. Computers already attempt to do these things, but need to be explicitly programmed for them. In a world of big data the correlations surface almost by themselves.
Sometimes those data reveal more than was intended. For example, the city of Oakland, California, releases information on where and when arrests were made, which is put out on a private website, Oakland Crimespotting. At one point a few clicks revealed that police swept the whole of a busy street for prostitution every evening except on Wednesdays, a tactic they probably meant to keep to themselves.
But big data can have far more serious consequences than that. During the recent financial crisis it became clear that banks and rating agencies had been relying on models which, although they required a vast amount of information to be fed in, failed to reflect financial risk in the real world. This was the first crisis to be sparked by big data—and there will be more.
The way that information is managed touches all areas of life. At the turn of the 20th century new flows of information through channels such as the telegraph and telephone supported mass production. Today the availability of abundant data enables companies to cater to small niche markets anywhere in the world. Economic production used to be based in the factory, where managers pored over every machine and process to make it more efficient. Now statisticians mine the information output of the business for new ideas.
“The data-centred economy is just nascent,” admits Mr Mundie of Microsoft. “You can see the outlines of it, but the technical, infrastructural and even business-model implications are not well understood right now.” This special report will point to where it is beginning to surface.
_M#]