Название: Все лгут. Поисковики, Big Data и Интернет знают о вас всё
Автор: Cет Cтивенс-Давидовиц
Издательство: Эксмо
Жанр: Прочая образовательная литература
Серия: IT бестселлер
isbn: 978-5-04-090836-3
isbn:
Поскольку она, таким образом, является практически естественным делом, я обнаружил, что в лучших вариантах анализа больших данных может разобраться практически любой умный человек. Если вы не можете понять, в чем суть исследования, проблема скорее всего не в вас, а в самом исследовании.
Вам нужны доказательства того, что научная работа с большими данными, как правило, является интуитивно понятной? Недавно я наткнулся на исследование, которое может оказаться одним из самых важных среди всех, проводившихся в течение последних нескольких лет. Оно также является одним из наиболее интуитивных, которые я когда-либо видел. Мне хочется, чтобы вы подумали не только о его важности, но и о том, насколько оно естественно и похоже на то, что делала моя бабушка.
Этот эксперимент проводила команда ученых из Колумбийского университета и из Microsoft. Целью был поиск симптомов, позволяющих предсказать зарождение у людей рака поджелудочной железы{15}. При этом заболевании только три процента больных проживают больше пяти лет, но раннее обнаружение болезни может удвоить шансы пациента.
Какой метод применили исследователи? Они использовали данные десятков тысяч анонимных пользователей Bing – поисковика Microsoft. При этом выбирали пользователей, у которых недавно был диагностирован рак поджелудочной железы – основываясь на безошибочном поисковом запросе, например: «Мне только что диагностировали рак поджелудочной железы» или «Мне сказали, что у меня рак поджелудочной железы, чего ожидать?»
Далее ученые искали запросы относительно возникающих симптомов. Они сравнили данные небольшого количества пользователей, сообщивших о своем диагнозе не сразу, с теми, кто этого вообще не сделал. Другими словами, попытались выявить, какие симптомы беспокоили тех, кто признался в своем диагнозе только через несколько недель или месяцев.
Результаты оказались просто поразительными. Признаками рака поджелудочной железы оказались боль в спине, а затем пожелтение кожи. Поисковый запрос только о боли в спине по большей части не относился к раку. Аналогично, поисковый запрос «Несварение желудка, а потом боль в животе» свидетельствует о раке поджелудочной железы, тогда как просто несварение желудка без болей не означает этого страшного диагноза. Исследователи смогли выявить от 5 до 15 % случаев практически без ложных срабатываний. Может быть, это не выглядит особо удачным результатом, но если у вас рак поджелудочной железы, даже 10 %-ная возможность удвоить шансы на выживание будет восприниматься как неожиданный подарок судьбы.
Неспециалисту изложенные в статье детали исследования будет трудно осмыслить в полной мере. Они включают СКАЧАТЬ
15
John Paparrizos, Ryan W. White, and Eric Horvitz, «Screening for Pancreatic Adenocarcinoma Using Signals from Web Search Logs: Feasibility Study and Results» («Скрининг поджелудочной железы аденокарцинома, используя сигналы из журналов веб-поиск: технико-экономическое обоснование и результаты»),