Что значит мапить данные

Мэппинг — это. Определение, описание технологии и отзывы

Слышали ли вы о mapping? В русской транскрипции это мэппинг, маппинг. Понятие имеет несколько значений, которые не связаны друг с другом. Рассмотрим каждое из них в контексте области, где они актуальны.

Что означает понятие в общем?

Мэппинг, маппинг, маппирование, мапирование — это определение соответствия информации между двумя разными семантиками как одного объекта, так и нескольких. Иными словами, так называется преобразование данных из одной формы в другую.

Что такое мэппинг? В общем значении термин достаточно широк — это может быть как скрупулезное преобразование одной последовательности элементов в иную, так и обычная конвертация валюты, файлов. Таким образом, все то, что скрывается под разбираемым термином, лучше всего выразить англоязычным понятием data mapping.

Примеры мэппинга

Разберем, что это — мэппинг, на следующих примерах:

• Составление документа соответствий бухгалтерских счетов из различных их планов. Например, российского, МСФО, управленческого учета и проч.
• Перевод кодов базы данных одной системы в другую. К примеру, нам надо преобразовать обозначения 0 и 1 в «нет» и «да».
• Перевод долларов в евро — это мэппинг в каком-то роде.
• Изменение формата изображения .png в .jpg, фильма из .avi в .mp4, проводимое в графическом, видеоредакторе, в каком-то роде будет относиться к предмету нашего разговора.

Разработка компьютерных игр

Мэппинг (от англ. map — «карта местности») также может выступать в значении дизайна уровней. Такое наименование имеет дисциплина в разработке видеоигр. Это прежде всего создание различной сложности уровней — проработка миссии игрока, дизайн локации, составление заданий и проч. Практически такая деятельность ведется в редакторе «левелов».

Технологии мэппинга здесь неоднородны — все зависит от бюджета разработчиков, характера, жанра создаваемой игры. Рассмотрим классический пример, чтобы иметь большее представление о понятии:

• Создание карты территории и ее разбиение на зоны — города, горный массив, подземные туннели, леса и проч.
• Определение регионов, связанных с какой-то специфической деятельностью игрока, — поле боя, магазин дополнительных атрибутов, добыча ресурсов, укрепления, место отдыха, доска почета и проч.
• Проработка нестатических объектов. Ими могут быть ключи, двери, секретные кнопки и ходы, исчезающие тайные проходы и проч.
• Определение важных локаций организаций — это точка восстановления, клады, сокровища, тайники с секретным оружием и проч.
• Установление места начала и финиша перемещений для каждого из игроков.
• Оживление карты рядом деталей: добавление таких элементов, как текстуры, звуки, аудиосопровождение, зрительные эффекты, иллюзии, анимации и проч.
• Вставка необходимых триггеров (механизмов, которые проверяют наличие какого-либо объекта в создаваемом игровом пространстве) и скриптов (сценариев, кратких алгоритмов действий).
• Создание определенных скриптов передвижения мобов (нестатичных объектов, персонажей): зоны, где они могут перемещаться, их взаимодействие, диалог с игроком и проч.
• Иногда включает создание кат-сцен — красивой заставки, мини-фильма, своеобразного трейлера игры или уровня, группы «левелов», которую геймер может только просмотреть, но никак не повлиять на то, что в ней происходит.

Видео-мэппинг

Что такое видео-мэппинг (3D-мэппинг)? Это удивительная технология, которая позволяет проецировать изображения, специально созданные фильмы на масштабные неровные поверхности, например, на фасады строений.

Уникальность этого в том, что оно позволяет «оживлять» дома, иные строения, автомобили, предметы интерьера тем, что придает им визуальную подвижность. А достигается все лишь установленными по определенному плану проекторами. «Магия» движущихся объемных изображений состоит в суперточном соответствии элементов, на которые отсвечивается картинка, и самой видеопроекции.

Хоть для многих из нас мэппинг — это достаточно новое направление, родился он еще в шестидесятых годах прошлого века. Его появлением мы обязаны Уолту Диснею и студии Disney. Тогда рабочим названием мэппинга были «затеняющие лампы», «пространство виртуальной реальности». Первым шоу считается аттракцион «Призрачное поместье» в Диснейленде. Для него были созданы искусственные отрубленные головы, на которые проецировалось изображение, «оживляющее» их.

Каким может быть видео-мэппинг?

В зависимости от объекта, на который отражается изображение, технология разделяется на несколько направлений:

• Архитектурное. Объемная проекция на сложный объект — фасад здания, мост, башню, а также на самолет, корабль и проч.
• Интерьерное. Создание интересных иллюзорных решений внутри помещения путем проецирования картинки на стены, потолок, пол.
• Для малых объектов. Используются как небольшие формы, так и элементы чего-то более масштабного. Например, колеса авто, торт, платье невесты и проч.
• Ландшафтное. Основой выступают лесные массивы, горы и прочие природные объекты.
• Интерактивное. Самое новое направление, отличное тем, что здесь героем становится человек. Технология оживляет предметы вокруг артиста, помогая ему создать незабываемое шоу.

Где применяется 3D-мэппинг?

Давайте посмотрим, где может оказаться актуальной такая технология:

• создание объемной световой рекламы на различных поверхностях;
• городские праздники, массовые мероприятия;
• крупные корпоративные события;
• открытия торговых центров, развлекательных комплексов;
• детские праздники;
• культурные, исторические, познавательные мероприятия.

Эффектнее всего такое шоу смотрится в темное время суток. Чтобы придать более поражающий эффект, организаторы сочетают его с подходящим объемным звуковым звучанием, живой музыкой, фейерверками.

Если вы хотите познакомиться с отзывами о технологии, то просто послушайте тех, кто хоть раз посещал московский «Круг света». С недавних пор каждый год осенью в столице проходит этот собирающий тысячи зрителей фестиваль. Дизайнеры из разных стран создают видеопроекции, которые показываются на фасаде Большого театра, главном павильоне ВДНХ, Останкинской телебашне, основном корпусе МГУ и пр.

Мэппинг — многозначное понятие. Это и сложная конвертация данных, и создание локаций в компьютерных играх, и шоу, основанное на проецировании изображений на масштабные и малые предметы.

Источник

Маппинг данных из реляционной БД

Иногда возникают ситуации, когда решение задачи выборки данных из реляционной БД не укладывается в возможности используемой в проекте ОРМ, например, либо из-за недостаточной скорости работы самой ОРМ, либо не совсем оптимальных SQL запросов генерируемых ею. В таком случае обычно приходится писать запросы вручную.

Проблема в том, что данные из БД (в т.ч. в ответ на JOIN запрос) возвращаются в виде “плоского” двухмерного массива никак не отражающего сложную “древовидную” структуру данных приложения. Работать с таким массивом дальше крайне неудобно, поэтому требуется более-менее универсальное решение, позволяющее привести этот массив в более подходящий вид по заданному шаблону.

Решение было найдено, удобное и достаточно быстрое.

На сколько быстрое

Для оценки скорости работы библиотеки я собрал небольшой испытательный стенд на котором скорость работы моей библиотеки сравнивается со скоростью работы Eloquent. Для замеров использовался пакет phpbench.

Для того чтобы развернуть стенд у себя:

Здесь я использовал инструмент описанный в моей предыдущей статье.

Затем в меню выбираем: 1 Develop, затем: 1 Build, затем 2 Deploy and Up;
Затем запускаем тесты 5. Run tests

В базе 3000 книг. Результаты получились следующие:

benchEloquent — вытаскивает все книги с авторами с использованием Eloquent
benchEloquentId — вытаскивает определенную книгу с авторами с использованием Eloquent (10 раз)

benchProc — вытаскивает все книги с авторами с использованием библиотеки
benchProcId — вытаскивает определенную книгу с авторами с использованием библиотеки (10 раз)

Возможно приведенные тесты недостаточно репрезентативны, но разница заметна, как по времени выполнения, так и по расходованию памяти.

Как это работает

Далее, для примера (крайне простого), представим, что у нас имеется БД книг и авторов со следующей структурой.

Задача — вытащить все книги с их авторами.

Запрос будет выглядеть как-то так:

В ответ мы получим примерно такой массив данных.

book.id	book.name	author.id	author.name
1	book1	2	author2
1	book1	4	author4
1	book1	6	author6
2	book2	2	author2
2	book2	3	author3
2	book2	6	author6
2	book2	7	author7

Для этого немного изменим наш запрос:

Здесь мы в секции SELECT задали алиасы: для полей с данными о книгах алиасы с префиксом ‘book_’, а для полей с информацией об авторах с префиксом ‘author’.

Далее преобразуем ответ БД

$rows — ответ БД в виде массива объектов /stdClass()
$config — ассоциативный массив отражающий структуру данных итогового массива

В итоге в $booksData имеем древовидный массив имеющий структуру, описанную в $config, заполненный соответствующими данными.

Источник

Чернобровов Алексей Аналитик

Big Data Mapping: что такое маппирование больших данных

В этой статье рассмотрено, что такое маппирование больших данных, как это связано с Data Science, когда и как часто выполняется этот процесс, а также, какие программные инструменты позволяют автоматизировать Big Data mapping.

Что такое маппирование данных и где это используется

Представим, что в одной из корпоративных систем сведения о семейном положении сотрудника хранятся так, что «1» в поле «дети» означает их наличие. В другой системе эти же данные записаны с помощью значения «True», а в третьей – словом «да». Таким образом, разные системы для обозначения одних и тех же данных используют разные отображения. Чтобы привести информацию к единообразию, следует сопоставить обозначения одной системы обозначениям в других источниках, т.е. выполнить процедуру мэппинга данных (от английского map – сопоставление). В широком смысле маппирование – это определение соответствия данных между разными семантиками или представлениями одного объекта в разных источниках. На практике этот термин чаще всего используется для перевода или перекодировки значений [1].

Дисциплина управления данными, Data Management, трактует маппинг как процесс создания отображений элементов данных между двумя различными моделями, который выполняется в начале следующих интеграционных задач [2]:

• преобразование или передача данных между источником и приемником;
• идентификация отношений данных как часть анализа происхождения данных (data lineage);
• обнаружение скрытых конфиденциальных данных, при их маскировании или де-идентификации, например, когда один идентификатор содержится в другом;
• консолидация нескольких баз данных в одну и определение избыточных столбцов для их исключения.

Таким образом, маппирование данных представляет собой процесс генерации инструкций по объединению информации из нескольких наборов данных в единую схему, например, конфигурацию таблицы. Поскольку схемы данных в разных источниках обычно отличаются друг от друга, информацию из них следует сопоставить, выявив пересечение, дублирование и противоречия [3].

С прикладной точки зрения можно следующие приложения маппинга данных [4]:

• одноразовая миграция, когда данные перемещаются из одной системы в другую. После удачного завершения этого процесса новое место назначения становится местом хранения перенесенных данных, а исходный источник удаляется. В этом случае мапирование нужно для сопоставления исходных полей с полями назначения.
• Регулярная интеграция данных, когда выполняется периодический обмен данными между несколькими разными системами. Как и при вышеописанном переносе данных, маппинг нужен для сопоставления исходных полей с полями назначения.
• Преобразование данных из одного формата в другой, включая очистку (удаление пропущенных значений и дублей), изменение типов, агрегирование, обогащение и прочие преобразования.

В Big Data мэппинг выполняется при загрузке информации в озеро данных (Data Lake) и корпоративное хранилище (DWH, Data Warehouse). Чем Data Lake отличается от DWH, рассмотрено здесь. В этом случае маппинг реализуется в рамках ETL-процесса (Extract, Transform, Load) на этапе преобразования. При этом настраивается соответствие исходных данных с целевой моделью (рис. 1). В случае реляционных СУБД для идентификации одной сущности в разных представлениях нужно с ключами таблиц и настройкой отношений (1:1, *:1, 1:* или *:*) [5].

Рис.1. Маппирование данных при консолидации таблиц

В Data Science маппирование данных входит в этап их подготовки к ML-моделированию, когда выполняется формирование датасета в виде матрицы значений для обработки соответствующими алгоритмами. В частности, когда Data Scientist обогащает исходный датасет данными из сторонних источников, он занимается маппингом данных. Проводить процедуру дата мэппинга можно вручную или автоматически с помощью соответствующих подходов и инструментов, которые рассмотрены далее.

Особенности процесса дата мэппинга

На практике трудоемкость мэппинга зависит от следующих факторов [3]:

• размеры сопоставляемых датасетов;
• количество объединяемых источников информации;
• форматы схемы данных, в т.ч. первичные и внешние ключи в реляционных таблицах;
• различия между исходными и целевой структурами данных;
• иерархия данных.

Облегчить процесс маппирования можно за счет метаданных – сведениях о признаках и свойствах объектов, которые позволяют автоматически искать и управлять ими в больших информационных потоках. В частности, если каждое приложение будет выполнять публикацию метаданных, что позволит создать их стандартизированный реестр, то маппинг будет полностью автоматизированным [2]. Однако в большинстве случаев процесс мапирования данных не полностью автоматизирован и состоит из следующих этапов [4]:

1. определение данных, которые нужно переместить, включая таблицы, поля в каждой таблице и формат поля после его перемещения. При регулярной интеграции также определяется частота передачи данных.
2. сопоставление исходных полей с полями назначения;
3. преобразование значений, включая кодирование формулы или правила преобразования;
4. тестирование полученных результатов переноса (обогащения) путем сравнения их с образцами данных из первичных источников.
5. развертывание production-решений по регулярной консолидации данных в соответствии с планом переноса или интеграции.

При работе с большими объемами данных выделяют 3 основных подхода к маппированию [2]:

• ручное кодирование, когда приходится писать код для консолидации данных из разных таблиц или форматов. Сюда же можно отнести сопоставление данных в графическом режиме, когда GUI специализированных программ позволяет пользователю рисовать линии от полей в одном наборе данных до соединения с другим источником. При этом «под капотом» автоматически генерируется программный код преобразования на SQL, XSLT, Java, C++ и прочих языках программирования. Такие графические средства часто встречаются в ETL-инструментах в качестве основного средства задания мэппингов для перемещения данных. Например, SAP BODS, Informatica PowerCenter и Talend Data Fabric (рис. 2).

Рис. 2. Маппирование в Talend Data Fabric

• data-driven мэппинг, который сочетает оценку фактических значений данных в разных источниках данных с использованием эвристики и статистики для автоматического обнаружения сложных взаимосвязей между ними. Этот интеллектуальный подход используется для поиска преобразований между разными датасетами, выявления подстрок, конкатенаций, математический зависимостей, условных операторов и прочих логический преобразований. Также он позволяет найти исключения, которые не соответствуют обнаруженной логике преобразования. Обычно именно этот подход используется в специализированных системах подготовки данных к ML-моделированию, например, SAS, IBM SPSS и т.д.
• семантический маппинг похож на вышеописанный data-driven метод, но здесь к интеллектуальному сопоставлению также подключается реестр метаданных. Например, если в исходной системе указано FirstName, а в системе-приемнике есть поле PersonGivenName, сопоставление будет успешно выполнено, если эти элементы данных перечислены как синонимы в реестре метаданных. Семантическое сопоставление способно выявить только точные совпадения между столбцами данных, но не обнаружит никакой логики преобразования или исключений между столбцами. На практике этот подход применяется при интеграции реляционных СУБД и построении DWH.

Также стоит упомянуть полуавтоматическое маппирование в виде конвертирования схем данных, когда специализированная программа сравнивает источники данных и целевую схему для консолидации. Затем разработчик проверяет схему маппирования и вносит исправления, где это необходимо. Далее программа конвертирования схем данных автоматически генерирует код на C++, C # или Java для загрузки данных в систему приемник (рис. 3) [3].

Рис. 3. Конвертирование схем данных в процессе мэппинга

Далее рассмотрим, какие инструментальные средства реализуют вышеперечисленные подходы.

Инструменты маппирования больших данных

Как и большинство прикладных решений, все средства для маппинга данных можно разделить на 3 категории [6]:

• проприетарные (on-premise), например, Centerprise Data Integrator, CloverDX, IBM InfoSphere, Informatica PowerCenter, Talend Data Integration. Как правило, эти продукты широко используются в корпоративном секторе.
• открытые (open-source), которые дешевле предыдущих аналогов и являются более легковесными с точки зрения функциональных возможностей. Однако их вполне достаточно для индивидуальных исследований Data Science. Наиболее популярными в этой категории считаются Pentaho, Pimcore, Talend Open Studio.
• облачныесервисы, такие как, Informatica Cloud Data Integration, Oracle Integration Cloud Service, Talend Cloud Integration, Dell Boomi AtomSphere, DX Mapper, Alooma, Jitterbit. Современные Cloud-решения считаются безопасными, быстрыми, масштабируемыми, относительно недорогими и удобными для использования. Поэтому их можно применять как в корпоративных, так и в личных целях.

Большинство перечисленных продуктов поддерживают все 3 подхода к маппированию: ручной (GUI и кодирование), data-driven и семантический. Однако, семантический мэппинг требует наличия реестров метаданных, что имеется далеко не в каждом предприятии. А публичные реестры метаданных, такие как национальные, отраслевые или городские репозитории [7] не всегда напрямую коррелируют, например, с задачами построения локального DWH. Но, наряду с открытыми государственными данными и другими публичными датасетами, их можно использовать в исследовательских DS-задачах.

При выборе конкретного инструмента для маппинга больших данных стоит учитывать следующие факторы:

• cложность данных – объемы, разнообразие форматов и схем. Этот критерий непосредственно связан со спецификой задачи. Например, если требуется обогатить не слишком большой датасет для ML-моделирования, сопоставив данные из нескольких источников, Data Scientist может воспользоваться простым облачным сервисом или написать собственный скрипт. Однако, в случае регулярной загрузки информации из множества СУБД в корпоративное хранилище или озеро данных, необходимо выбирать надежное ETL-средство enterprise-уровня.
• расширяемость– наглядный GUI повышает удобство пользования, однако, на практике часто возникает задача кастомизации автоматически сгенерированных соответствий. Поэтому инструмент маппирования должен включать возможность править созданные мэппинги, настраивать правила и писать собственные преобразования в виде программных скриптов.
• стоимость, включая все затраты на приобретение, использование, техническую поддержку и прочие расходы.

Резюме

Итак, маппирование данных – это важная часть процесса работы с данными, в том числе и для Data Scientist’а. Эта процедура выполняется в рамках подготовки к ML-моделированию, в частности, при обогащении датасетов. В случае одноразового формирования датасета из нескольких разных источников сопоставление данных можно выполнить вручную или с помощью самописного Python-скрипта. Однако, такой подход не применим в промышленной интеграции нескольких информационных систем или построении корпоративных хранилищ и озер данных. Поэтому знание инструментов дата мэппинга пригодится как Data Scientist’у, так и Data Engineer’у. Наконец, сопоставление данных с целью избавления от дублирующихся и противоречивых значений входит в задачи обеспечения качества данных (Data Quality) [4]. В свою очередь, Data Quality относится к области ответственности стратега по данным и инженера по качеству данных. Таким образом, понимание процесса маппирования необходимо каждому Data-специалисту.

Источник