Концепция Data Fabric: как успешно управлять данными компании

В современном мире данные компаний превратились в один из главных бизнес-активов. Организации накапливают их в больших объёмах. На первый план выходят вопросы качества и унификации данных, оперативного извлечения информации, привязки к бизнес-функциям и организационной структуре.

Данные часто вариативны. У компании может быть множество источников и потребителей. Данные из разных источников могут быть структурированными и неструктурированными, относиться к разным типам, находиться в разных локациях (в собственных базах данных, на облачных сервисах и т.п.). Подходы простой централизации данных в этом случае теряют эффективность.

Нужна более современная концепция. Такой и стала Data Fabric.

Что такое Data Fabric

Data Fabric можно назвать одним из главных трендов 2020-х годов.

Data Fabric предполагает применение технологий Big Data, искусственного интеллекта и инструментов визуализации для построения и оптимизации алгоритмов управления и практического использования данных. На каждом шаге обработки информации используется машинное обучение. Все потребители и источники данных связаны сквозной интеграцией (в том числе с помощью хранилищ и баз данных) через API.

Создаётся единая среда управления, где можно автоматически управлять разрозненными источниками данных, технологиями и безопасностью в локальных и облачных средах.

Информацию легче искать, обрабатывать, структурировать и интегрировать с другими информационными системами.

Устраняется информационная разобщённость подразделений, ускоряется получение результатов аналитики бизнес-процессов, сценариев работы с партнёрами, внешних сервисов и других данных, необходимых для принятия бизнес-решений, сокращаются затраты.

Кому нужна Data Fabric: особенности и преимущества

Data Fabric направлена на поддержку гибкости в прозрачных процессах аудита, интеграции, маршрутизации, обновления и трансформации данных для множества бизнес-целей.

Потенциальные преимущества ткани данных применимы к различным функциям организации.

Data Fabric поможет:

• централизованно управлять данными. Data Fabric поможет найти и объединить данные из всех имеющихся систем, когда это необходимо;
• унифицировать процессы для быстрого и точного изменения;
• упростить доступ ко всем данным и ускорить доставку данных внутри организации;
• проводить мгновенный и максимально точный анализ данных в реальном времени;
• получать достоверную информацию. Данные систематизируются и представляются пользователям в понятном виде, позволяющем быстро принимать решения;
• автоматизировать управление данными — ускорить процессы, которые выполнялись вручную, выявить несоответствия, минимизировать неточности и риски ошибок;
• контролировать данные — проверять качество данных, выявлять возможные угрозы;
• ускорить процесс цифровой трансформации за счёт максимизации ценности ваших данных.

Data Fabric пригодится и при осуществлении бизнес-процессов, когда нужно:

• спрогнозировать продажи;
• в обслуживании клиентов;
• в управлении персоналом;
• соблюдать нормативные требования;
• управлять рисками.

Такая архитектура управления данными полезна всем компаниям, работающим с большими данными, вне зависимости от сферы хозяйственной деятельности.

Например:

• Ритейл. Механизмы Data Fabric используются для прогнозирования спроса, определения оптимальных цен и повышения оборачиваемости.
• Банки. На основе данных в онлайн режиме принимается множество решений (одобрение кредитов, обеспечение безопасности счетов, проверка операций на законность).
• Телекоммуникационные компании. Проекты Data Fabric позволяют улучшать коммуникации с целевой аудиторией, повышать прозрачность операций, эффективность внутренних процессов.
• Промышленные компании. Data Fabric помогает оптимизировать внутренние процессы и минимизировать издержки
• Госструктуры. Механизмы Data Fabric применяются для работы порталов Госуслуг.

Также Data Fabric поможет обеспечить защиту данных посредством согласованного управления с помощью унифицированных API и настраиваемого доступа к источникам.

Как построить Data Fabric: краткая инструкция

Построение Data Fabric можно начать с создания гибридной облачной архитектуры. Важно выбирать технологические решения, которые могут использовать метаданные для управления своей работой, одновременно обмениваясь метаданными с другими инструментами, использующими открытые стандарты и API. Метаданные — «нить», скрепляющая структуру данных.

Следует обратить внимание на следующие аспекты:

• как будет выглядеть Data Fabric. Определить стратегию и направление;
• определить и понять взаимозависимость имеющихся данных: где они находятся, насколько они велики;
• рассмотреть классификацию данных. Как давно создана? Актуальна ли на текущий момент? Содержится ли в данных конфиденциальная информация? Кто имеет доступ к данным?
• переместить рабочие нагрузки, взяв за основу определённые показатели (стоимость, производительность, соответствие нормативным требованиям);
• постоянно оптимизировать Data Fabric, проверять, что наборы данных находятся на нужной платформе.

Конечная цель зрелой структуры данных — создать полностью автономную Data Fabric, где каждый «процессор» данных может использовать метаданные, созданные из других компонентов экосистемы.

Многие организации выбирают Data Fabric, поскольку она использует существующие метаданные и инфраструктуру. Она не требует глобальной замены, её можно использовать для расширения (или полной автоматизации) проектирования и интеграции данных.