Дмитрий Волков: «Данные уже не «новая нефть» для цифровых предприятий, а скорее «плутоний», освобождающий гораздо больше полезной информации, — почти неиссякаемый источник вдохновения для бизнеса»
10:58 04.03.2022 (обновлено: 17:47 04.03.2022) | 1144 | Алексей Чернобровцев | Computerworld Россия
Рубрика Индустрия
Конференция «Качество данных — 2022. Стратегия, инструменты, практики, перспективы», проведенная издательством «Открытые системы» 16 февраля, собрала более четырех сотен специалистов, участвовавших в ее работе очно или онлайн. Это уже третье мероприятие издательства на данную тему, которое свидетельствует о постоянно возрастающем интересе ко всем аспектам работы с данными, играющими важнейшую роль в разработке бизнес-стратегий производственной и коммерческой деятельности предприятий из различных отраслей.
Дмитрий Волков, программный директор серии практических конференций издательства «Открытые системы», отметил, что в работе конференции приняли участие представители лидеров квадранта Gartner Magic Quadrant for Data Quality Solutions 2021, таких как Ataccama, Informatica, Precisely, SAS.
По утверждению аналитиков Gartner, решения, обеспечивающие качество данных, включают в себя процессы и технологии, способствующие выявлению и пониманию данных, устранению их недостатков. Такие комплексные продукты, в функционал которых входят в том числе профилирование, синтаксический анализ, стандартизация, очистка, сопоставление, мониторинг, создание правил, поддерживают эффективность данных и аналитики, используемых для операционной деятельности и принятия бизнес-решений.
В Gartner отмечают, что рынок решений обеспечения качества данных постоянно демонстрирует уверенный рост благодаря повышению спроса на цифровую трансформацию и реализацию инициатив по переходу в облако, и прогнозируют, что, для улучшения поддержки цифровых инициатив, более половины компаний к 2024 году освоят новейшие решения в области качества данных.
Чтобы прояснить текущую ситуацию и выявить важнейшие тенденции в сфере управления качеством данных, компания Precisely и Центр бизнес-аналитики Университета Дрекселя провели опрос сотен специалистов по данным и аналитике в организациях с доходом более полумиллиарда долларов. Три четверти респондентов сообщили, что именно качество данных служит главной целью их программ работы с данными.
Из результатов опроса следует, что организации с децентрализованной структурой управления данными получают меньшую добавленную ценность, чем использующие централизованные и гибридные структуры. Авторы отчета полагают, что качество данных имеет критическое значение для руководителей бизнеса, поскольку позволяет им принимать обоснованные и рациональные решения. Наряду с этим, качество данных и управление ими — важнейшие факторы обеспечения целостности информации, позволяющие компаниям полагаться на нее в принятии решений.
«Чтобы извлекать прибыль из данных, необходимо убедиться в их надежности», — заявил Александр Трекин, старший региональный директор по продажам Precisely в России и странах СНГ.
Предложения разработчиков
Конференция началась с мастер-класса по управлению корпоративными данными, организованного Ataccama, где в том числе обсуждались проекты Tele2, X5 Retail Group и «Яндекс.Маркета».
Кирилл Евдокимов, директор практики Data Governance российского офиса компании Ataccama, определил качественные данные как данные, пригодные для использования и обработки при решении конкретной задачи. В Ataccama рассматривают профилирование данных в качестве эффективного инструмента, который позволяет оценить масштаб проблем с данными. В комбинации с оценками бизнес-пользователей, профилирование позволяет определить приоритеты в решении таких проблем.
Специалисты Ataccama уверены в том, что эффективное управление данными должно опираться на выстроенные процессы взаимодействия между бизнес- и ИТ- подразделениями, а также потребителями и производителями данных (см. также «Ataccama: "Рынок управления данными активно развивается"», Computerworld Россия, 07.10.2021). Оптимальной они называют структуру, в которой процессы управления данными предусматривают вовлечение сотрудников различных подразделений организации, обладающих реальной возможностью влиять на качество данных.
Однако, как следует из опыта компании SAS, бизнес-подразделения не всегда осознают свою роль и часто не готовы участвовать в управлении качеством данных. В SAS разработали ряд подходов, приемов и архитектур, способствующих вовлечению бизнеса в процессы улучшения данных. В их основе — формирование доверия бизнеса, который «не должен стоять в очереди за хорошими данными», и предоставление ему возможности влиять на выбор инструментов. Основными компонентами успеха, считают в SAS, служат маскирующие сложность архитектура и процессы, простой интерфейс, а также объяснения. Среди успешных методов объяснений, к примеру, называются бизнес-игры по MDM.
Леонид Шумский, руководитель платформенного подразделения консалтинга компании «SAS Россия/СНГ», считает, что бизнес-пользователи должны получать удовольствие от работы с данными, иметь возможность применять собственные проверки, а архитектура самообслуживания призвана брать на себя стоящие за этим сложности.
В компании «Юнидата», разработавшей одноименную платформу управления данными, создали методологии и инструменты управления качеством данных, применение которых, по мнению ее специалистов, может сократить сроки внедрения и нагрузку на бюджет. Это становится привлекательным для предприятий среднего и малого бизнеса — новых для российского рынка потребителей технологий качества данных.
По словам, Руслана Трачука, технического директора компании «Юнидата», существует несколько правил, соблюдение которых упрощает внедрение решений для работы с данными в небольших компаниях. К их числу относятся: первоначальный старт с одной задачи, использование готовых сервисов, переход к комплексным решениям только после успешного решения малых задач и их вывода в продуктив. В качестве универсального рецепта ускорения проекта в «Юнидата» предлагают начинать использовать технологии управления данными уже на ранней стадии его внедрения (см. также ««Юнидата» третий год подряд вошла в отчет Gartner по MDM-решениям», Computerworld Россия, 15.12.2021).
Компания DATAREON, разработчик одноименной масштабируемой платформы управления данными с единой компонентной архитектурой и сервисной шины предприятия для обмена данными между корпоративными информационными системами, представила концепцию решения комплексных вопросов управления данными с использованием простых способов и подходов. В их состав входят методы упрощения разнородных данных, организация озер данных, определение и настройка процессов сбора данных, их очистка и нормализация, способы интеграции систем работы с данными.
«При разработке продуктов мы следуем стратегии достижения максимального эффекта при минимальных затратах», — пояснила Ольга Какутина, архитектор решений в компании DATAREON.
Основное направление деятельности компании Omnidata — разработка и внедрение решений для управления мастер-данными. «Бизнесу нужны полные, достоверные и своевременные данные для аналитики и принятия решений. В их основе — мастер-данные, набор справочников, описывающих объекты и раздающие их операционным системам», — считает Алексей Сучков, генеральный директор Omnidata.
Он представил обзор практик и инструментов, необходимых для обеспечения и поддержки качества мастер-данных, — от модели данных до качества контроля и мониторинга.
|
|
| Олег Гиацинтов: «Важно понимать, что бонусы от работы с данными должны заметно превышать затраты на их обслуживание» |
Специалисты DIS Group, мастер-дистрибьютора компании Informatica в России и СНГ, начали активно заниматься проектами Smart Data Lake, которые являются важнейшими компонентами современных цифровых предприятий, включают вопросы качества данных и обеспечивают эффективную работу специалистов, отвечающих за развитие бизнеса.
«Сравнение данных с новой нефтью становится сегодня общим местом. Однако важно понимать, что бонусы от работы с данными должны заметно превышать затраты на их обслуживание», — утверждает Олег Гиацинтов, технический директор DIS Group.
Зрелость озера данных предусматривает наличие процессов управления данными Data Governance, зонирование и ролевые подходы, предоставляющие возможность каждому специалисту заниматься собственным делом. К примеру, устраняет необходимость аналитикам данных отвлекаться на их поиск, интеграцию и очистку, которые могут требовать до 90% времени, поясняют в DIS Group.
В компании разработали методологию формирования «умных» озер с учетом таких вопросов, как устранение возможных проблем в офисе директора по данным, организация эффективного взаимодействия подразделений в процессе заполнения озера, разграничение ответственности и пр. Создана референсная архитектура на базе решений Informatica.
Практические примеры
Во время пленарной сессии представители предприятий из различных сфер экономики, активно использующих технологии обработки данных, рассказали о своем практическом опыте.
«Работа с качеством данных требует организационных изменений», — считает Александр Погосьян, исполнительный директор по направлению «Качество данных» в ПАО «Сбербанк». В «Сбере» рекомендуют начинать внедрение управления качеством данных с формирования организационной структуры, включая назначение директора по данным и создание команды специалистов, а также с определения процессов, в том числе выделения критических элементов данных (critical data elements, CDE), измерения и ряда других.
|
|
| Александр Погосьян: «Работа с качеством данных требует организационных изменений» |
Опыт работы «Сбера» показал, что для исключения конфликтов при работе с данными необходимо четко определить владельцев данных, зафиксировать перечень нарушений их качества, требующих безусловного исправления, а также организовать регулярную просветительскую деятельность и ввести параметры качества данных в стандарты архитектуры и разработки.
В «Банке ВТБ» возникла необходимость тиражировать разработанные и применяющиеся в головном офисе практики работы с данными в дочерние компании и зависимые организации. Светлана Бова, директор по управлению данными «Банка ВТБ», пояснила, что для тиражирования решений потребовалось установить очередность таких компаний, определить формат организации работ по тиражированию, организовать контроль и мониторинг внедрений. В основе организационно-технологического решения — «упаковка» всех практик, методов и инструментов для управления данными в форму унифицированного продукта, который предоставляется в распоряжение нижестоящих организаций. В таком продукте содержится широкий спектр требований и рекомендаций — от готовых профилей для подбора специалистов по управлению данными, организационной структуры, планов внедрения и перечня методологий и процессов управления данными до необходимых информационных систем.
Банк России внедрил инструментарий, предоставляющий возможность поднадзорным организациям сформировать системный процесс управления данными и их качеством, который повышает доверие к отчетным данным. Также при поддержке Банка России осуществляются работы по методологической и технологической поддержке участников финансового рынка, в том числе запущена система сертификации программных продуктов, работающих с открытым стандартом отчетности XBRL (eXtensible Business Reporting Language).
В территориально распределенной компании «Леруа Мерлен» к приоритетным задачам на пути цифровой трансформации относят управление объемными и сложными справочниками и их поддержание в актуальном состоянии. По словам Любови Коноплиной, директора по качеству мастер-данных «Леруа Мерлен Россия», в настоящее время создается новая платформа управления данными на основе продуктового подхода — совместной работы бизнес- и цифровых подразделений.
Среди задач платформы — сокращение времени предоставления клиентам информации о новых товарах и улучшение взаимодействия с партнерами. Последние, в частности, получают возможность предоставлять данные о товарах в удобных для них форматах и наиболее удобным способом. В платформе используются микросервисная архитектура и единый пользовательский интерфейс. Ее реализация должна способствовать росту доходов от повышения эффективности аналитики на основе качественных мастер-данных.
В экосистеме компаний в X5 Retail Group рассматривают данные как источник конкурентного преимущества, отмечая важность управления качеством данных, несмотря на то что «слишком много и данных, и их пользователей».
Для решения этой задачи применяется инструментарий Ataccama и создана организационная структура, охватывающая бизнес X5 Retail Group. В шести доменных командах, обеспечивающих работу с данными, насчитывается почти два десятка специалистов по качеству данных и более 60 DQ-инженеров. Среди поддерживаемых процессов — управление инцидентамим и построение витрин по результатам проверок. Внедрено более десятка процессов по критическим элементам данных — показателям и атрибутам, наиболее важным для бизнеса.
Специалисты направления качества данных блока разведки и добычи «Газпром нефти» разработали методологию, позволяющую выполнить мониторинг показателей качества на постоянной основе, определить соответствие данных реальному состоянию бизнеса и организовать системный процесс обеспечения качества данных (см. также «Качество данных — 2021»: советы бывалых», Computerworld Россия, 10.03.2021).
Достоверные данные позволяют компании «Газпром нефть» ускорять моделирование процессов добычи, повышать эффективность оценки потенциала системы и определять узкие места, выбирать оптимальные режимы эксплуатации, управлять надежностью на основе предиктивной аналитики.
В следующих статьях представлены тематические сессии конференции.