Мастера по добыче данных

Фото: Fotolia/PhotoXPress.ru

Российская компания «Алгомост» первая на российском рынке научилась привлекать мировых экспертов для решения бизнес-задач, связанных с обработкой больших объемов данных —датамайнингом. Среди заказчиков стартапа —представители информационно емких и высококонкурентных отраслей: банки, ритейлеры, телекоммуникационные компании. «Алгомост» уже подписал более десяти контрактов на разные суммы, в ближайшие годы чек для клиентов составит не менее 300 тыс. долл.

Термин «датамайнинг» (интеллектуальный анализ больших массивов данных, или Big Data) появился в конце XX века, когда руководители ведущих мировых компаний осознали, что у них накопились огромные объемы важной информации, для обработки которой инструменты традиционной статистики уже не годятся. Стало понятно, что в «сырых» данных можно обнаружить неочевидные закономерности, знание которых поможет оптимизировать бизнес-процессы или точнее прогнозировать динамику тех или иных показателей. В 1996 году агентство Gartner включило понятие датамайнинга в состав термина business-intelligence — набора средств, которые позволяют повысить эффективность управленческих решений за счет доступа к более качественной информации. На начало 2012 года мировой рынок программных продуктов, услуг и сервисов в сфере датамайнинга оценивался экспертами американской аналитической фирмы Wikibon более чем в 5 млрд долл. К 2017 году, считают исследователи, этот показатель превысит 50 млрд долл.

В России услуги в сфере датамайнинга предлагают IT-консультанты и системные интеграторы. Чаще всего они работают по типовым методологиям анализа данных, разработанным для каждой конкретной отрасли. Например, сейчас традиционные инструменты датамайнинга применяются для оптимизации инвестиций или в банковской отрасли — для скоринга (определения кредитоспособности заемщика), расчета тарифов, анализа клиентской базы, изменений спроса и т.д. Многие компании предлагают клиентам собственные аналитические приложения, как требующие, так и не требующие инсталляции на компьютеры заказчика (во втором случае ПО становится доступным через Интернет). Другие игроки строят для заказчиков описательные и прогнозные модели и выявляют закономерности силами собственной команды датамайнеров.

«Любой проект, а особенно сложный и нестандартный, реализуется в соответствии с классическими правилами, — рассказывает Максим Андреев, директор по бизнес-приложениям системного интегратора КРОК. — Консультанты общаются с заказчиком, стремятся прояснить, решения каких задач он ждет от системы. Затем подбирают подходящие IT-решения, предлагаемые на рынке. Согласовывают функционал, а после наступает этап разработки, тестирования, ввода в эксплуатацию, интеграции с другими системами. Команда датамайнеров работает особенно плотно с заказчиками на первых, самых сложных с точки зрения сбора аналитики и анализа требуемого функционала, фазах».

По словам Андреева, ежегодно КРОК реализует около десяти проектов по датамайнингу, заказчиками выступают госструктуры, транспортные фирмы, ритейл, банки, платежные системы, другие финансовые организации. Стоимость услуг по датамайнингу Андреев не раскрывает. Другие крупные игроки на рынке бизнес-аналитики на запрос РБК о среднем чеке и формате работы в сфере датамайнинга не ответили.

Датамайнинг и краудсорсинг

Российская компания «Алгомост», которая в 2012 году также вышла на рынок датамайнинга, считает, что существующие на сегодня решения требуют от клиента больших инвестиций, но не гарантируют ему разработки эффективных алгоритмов и к тому же не стремятся подстраивать их под индивидуальные задачи заказчика.

«Консалтинговые фирмы обычно рассказывают о том, как их опыт поможет решить бизнесу проблемы, если он подробно расскажет о них. Мы же можем не выслушивать нашего клиента, а все узнать из массива полученных от него данных», — говорит Михаил Левиев, один из основателей «Алгомоста». После восьми лет работы в венчурном бизнесе он понял, что во всем мире нет рыночного процесса, нацеленного на построение модели для эффективной обработки Big Data.

Будучи директором бизнес-инкубатора при МФТИ, Левиев регулярно получал от руководителей стартапов запросы на «добычу» полезной информации из ее массивов. Но он не мог быстро подобрать своим подопечным действительно хороших математиков для решения конкретной задачи. Команде Левиева приходилось искать экспертов через сарафанное радио по всему миру, чтобы выйти на «гуру» датамайнинга. На это могло уйти несколько лет, при том что некоторым клиентам приходилось платить датамайнерам от 10 млн до 15 млн руб. в год. Левиев хотел уменьшить срок работы и чек, отобрав только лучших специалистов по работе с Big Data, но не знал, где их найти и как скоординировать их работу.

На одной из бизнес-встреч в 2012 году он познакомился с Дмитрием Бирюковым и Самитом Яковлевым, инвестбанкирами из компании Inventum Asset Management. Они искали разработчиков сложных алгоритмов для моделирования финансовых процессов. Втроем они придумали для этого новый, двухступенчатый формат и основали компанию «Алгомост». Ее подход основан на принципе краудсорсинга: вначале профессионалам высокого уровня со всего мира предлагается поучаствовать в конкурсе, а затем лучших «решателей» объединяют в распределенную исследовательскую группу (основатели «Алгомоста» называют ее Smart Grid). О новой модели — см. «Как это работает».

Конкурс + Smart Grid = алгоритм

В среднем конкурс длится два-три месяца. За это время решения предлагают несколько сотен человек, но Левиев рассчитывает, что со временем число конкурсантов вырастет до нескольких тысяч. Если поначалу модель тестировалась на студентах, то теперь «Алгомост» переключился исключительно на профессионалов в датамайнинге. Контакты с научным сообществом в компании поддерживает Александр Дьяконов, профессор ВМК МГУ.

Затем в каждой исследовательской группе работают как минимум три специалиста в области анализа данных, а также два эксперта из индустрии заказчика. Еще два-три человека из команды «Алгомоста» координируют взаимодействие экспертов между собой и с клиентом. Обычно доработка алгоритмов связана с их устойчивостью (при смене показателей «на входе» алгоритм должен так же точно выявлять закономерности, как и в случае с исходными данными), а также с ресурсами заказчика (нужно, чтобы для обслуживания работы алгоритма требовался минимум мощностей и работников). По мере поступления новых задач от заказчика Smart Grid разрастается до 10—15 человек — за счет подключения все новых конкурсантов из списка по итогам первого этапа.

«Алгомост» подписывает как минимум два контракта на оба этапа работы, а затем компания может заключать все новые договоры на каждое последующее исследование от распределенной группы. В рамках работы сумма контракта делится между «решателями» и «Алгомостом» пополам. В 2013 году расходы самого «Алгомоста» на работу коллектива и обслуживание разовых договоров с экспертами составили более 500 тыс. долл.

Первые внедрения

Новую модель Левиев, Бирюков и Яковлев решили опробовать в конце 2012 года, взявшись разработать для Inventum Asset Management (для фонда эта была давняя задача) алгоритм качественной оценки стратегий и фондов. Инноваторы потратили на тестирование методики около 100 тыс. долл. собственных средств. В 2013 году эти деньги вернулись в коммерческом контракте от инвестфонда. На 2014 год контракт «Алгомоста» с Inventum составил 300 тыс. долл.

«Модель, которую мы получили, превосходит стандартные показатели (такие как показатель Шарпа), так как учитывает множество факторов, в том числе поведение актива, с которым мы работаем, — пояснили РБК в Inventum. — Компания может использовать эту модель как для оценки собственных стратегий, так и для анализа фондов и ПИФов, доступных на рынке. Стратегии, которые отбираются c помощью этого алгоритма, на будущих периодах показывают результаты в среднем на 24% выше, чем стратегии, отобранные по стандартным методикам».

Другая история успеха «Алгомоста» — работа с одним из крупных российских производителей медицинского оборудования, взявшимся за создание глюкометра, способного определить уровень сахара без забора крови — на основе анализа динамики пульса пациента. Компания хочет привлечь датамайнеров, чтобы они рассчитали, как сказываются на изменении пульсовой волны волнение человека и другие внешние факторы, которые для показателя уровня глюкозы («сигнала») в пульсе являются «шумом».

Сейчас «Алгомост» подписывает с медицинской компанией контракт на 20 тыс. долл. о проведении конкурса в течение двух ближайших месяцев. Левиев планирует, что в рамках второго этапа клиент захочет разработать алгоритмы для создания персональных советов каждому владельцу глюкометра. Сумма второго контракта с заказчиком, рассчитывает Левиев, составит не менее 300 тыс. долл.

Зимой 2014 года «Алгомост» договорился о сотрудничестве с одним из крупных российских продовольственных ритейлеров, развивающих сеть в формате «дискаунтер/магазин у дома». Имя компании основатели стартапа не раскрывают. «Алгомост» поможет торговой сети разработать алгоритмы для оптимизации закупок, хранения и выкладки конкретных товаров. Главными исходными данными станет статистика о частоте покупок того или иного товара (подсчет будет вестись через чеки на кассе), а также информация о проведении скидочных акций на данный продукт. Левиев подчеркивает, что созданные алгоритмы будут высчитывать потребление товара в каждой конкретной точке, а не в среднем по сети. Размер контракта с торговой сетью Левиев не называет.

Клиенты с секретами

Левиев поделился с РБК всего лишь несколькими примерами применения методики «Алгомоста», хотя за время работы компании уже подписано более десяти контрактов, в том числе с IT-стартапами. Но их руководители, опасаясь утечки информации, взяли с сотрудников «Алгомоста» и разработчиков подписку о неразглашении.

Одним из таких заказчиков стал известный стартап, развивающий мобильное приложение для персональных рекомендаций пользователям на основе их активности в социальных сетях. После привлечения финансирования в несколько миллионов долларов и активной маркетинговой кампании стартап не смог справиться с потоком данных от новых пользователей. В итоге рекомендации стали реже попадать в цель, и начался отток пользователей с сервиса. «Алгомост» за 20 тыс. долл. помог стартапу создать более точный алгоритм. «Прошла неделя после его внедрения, и отток пользователей остановился, — заявил глава стартапа РБК. — Еще через три месяца количество пользователей удвоилось и достигло 100 тыс.».

Также не захотели афишировать работу с компанией научные организации в сфере химии и медицины. Для них «Алгомост» рассчитывал разные комбинации из 100 компонентов для подбора рецептуры полимеров с заданным набором свойств. По словам Левиева, найденный конкурсантами «Алгомоста» алгоритм позволяет без проведения сотни экспериментов осуществлять подбор автоматически. Схожий алгоритм «Алгомост» в ближайшие месяцы начнет разрабатывать для строительной фирмы, которая хочет автоматически подбирать компоненты (из базы объемом более 1 тыс. образцов) для получения бетона с определенными свойствами. Чек при таких заказах колеблется от 100 тыс. до 1,5 млн долл. в год.

Главные покупатели датамайнинга

Сейчас «Алгомост» ищет клиентов, главным образом среди игроков в информационно емких и высококонкурентных отраслях — среди банков, ритейлеров, телекоммуникационных компаний. «Один из банков, которому я рассказывал о наших услугах, решил использовать датамайнинг после того, как их председателю правления пришло SMS-сообщение c рекламой 10-процентной скидки в ресторане фастфуда, — вспоминает Левиев. — Банкам алгоритмы могут помочь максимально повысить лояльность клиентов, если каждый из них получит индивидуальный пакет предложений, персонализированные сервисы и т.д.».

В ритейле «Алгомост» планирует анализировать чек и активность клиента, чтобы помочь продавцам оптимизировать набор продуктов на полках, ценовую политику, повысить эффективность спецпредложений.

Телеком-операторам также нужна персонализация сервисов: если, например, в одном из районов Москвы ведутся работы на сотовой вышке, мобильный оператор сможет автоматически разослать SMS с извинениями своим абонентам. Схожие алгоритмы и соответствующие действия со стороны оператора возможны и в случае аварии на вышке. Ее факт будет установлен через алгоритм, который зафиксирует большое число звонков на один и тот же номер с внезапными сбросами вызовов. Чек для российских крупных клиентов по-прежнему будет не ниже 300 тыс. долл., рассчитывает Левиев.

В 2014 году Левиев, Бирюков и Яковлев планируют подписать не менее 20 контрактов на общую сумму не менее 6 млн долл. с компаниями в России и СНГ. Впрочем, компания уже нацелилась на глобальный рынок. Для того чтобы открыть офисы в США, Европе и Азии, стартап ведет переговоры с консорциумом российских и зарубежных инвесторов, которые готовы предоставить ему несколько десятков миллионов долларов. Присутствовать в конкретном регионе и лично встречаться с заказчиками для «Алгомоста» действительно важно: компании хотят непосредственно общаться с посредником, которому доверяют конфиденциальные данные о своей операционной деятельности.

Хотя большая часть клиентов пока категорически запрещают команде «Алгомоста» рассказывать о результатах их совместной работы, Левиев планирует за этот год убедить как минимум десять заказчиков поделиться своими кейсами. Без популяризации идеологии эффективной работы с Big Data «Алгомосту» будет сложно искать заказчиков.

Потенциальные соперники

Российская компания Witology собирает на своей онлайн-платформе сообщества людей, которые работают над решением конкретной задачи заказчика. Участники вначале продумывают решение собственными силами, затем объединяются в группы и дорабатывают лучшие идеи коллективно. Коллективная работа идет под руководством фасилитаторов (кураторов групповой работы) из команды Witology. Победителем становится идея, доработанная командой активных краудсорсеров. Компания уже реализовала 30 проектов. Александр Малюков, генеральный директор Witology, не раскрывает суммы чека для клиента, но отмечает, что он зависит от размера призового фонда, затрат на кампанию по привлечению участников, времени аренды платформы и необходимого числа фасилитаторов.

Американская компания Kaggle —единственная, кто использует механизм конкурсов для решения именно датамайнинговых задач. На своем сайте команда Kaggle проводит конкурсы для создания прогнозных моделей, предусматривая возможность объединения усилий. Автор (или группа авторов) самого точного прогноза становится победителем и получает от клиента Kaggle вознаграждение. Сам сервис удерживает часть чека. По информации на сайте Kaggle, он объединяет специалистов из 100 стран и 200 университетов. На запрос РБК о минимальном призовом фонде для каждого конкурса, размере гонорара сервиса и числе проведенных заказов представители Kaggle не ответили.

Как это работает

Заказчик формулирует задачу, решение которой требует работы с большим массивом данных, и назначает призовой фонд. Также клиент определяет количество победителей, которым достанутся деньги, и время проведения соревнования. На первом этапе «Алгомост» размещает задание на своем сайте и продвигает конкурс на тематических интернет-площадках. Если задача интересна мировому сообществу датамайнеров сама по себе, конкурс может и не предполагать вознаграждения. После завершения конкурса «Алгомост» оценивает, каков уровень развития мирового интеллекта в данной сфере, и составляет рейтинг лучших специалистов. На втором этапе «Алгомост» объединяет авторов лучших решений в коллектив, который работает удаленно как единая команда (Smart Grid) над оттачиванием алгоритма и его адаптацией к существующим инструментам заказчика. Впоследствии такой коллектив может продолжать работать с компанией в рамках решения все новых задач — становясь, по сути, аутсорсинговым центром. При этом интеллектуальная собственность, сгенерированная математиками в рамках сотрудничества с «Алгомостом», по условиям контракта всегда переходит к заказчику.