01 /
Новая платформа данных
Сущности и связи переезжают в другую схему или хранилище.
Данные / модернизация
Миграция данных
с проверкой результата.
Перенос больших наборов данных между системами: от карты источников и пробного прогона до сверки, переключения и плана возврата.
Данные
ETL
Сверка
Переключение
Контроль переносаrazrabotchik.com / ДАННЫЕ
Источники и правила01 / КАРТА
Пакетный перенос02 / ПЕРЕНОС
Сверка и переключение03 / ПРОВЕРКА
Контрольные точкиСверенные данные
Перед стартом
Карта данных
Во время
Прогресс и ошибки
После
Сверка и доступность
Когда это нужно
Перенести записи недостаточно.
При большом объёме важны связи, исторические исключения, изменение данных во время переноса и доступность продукта. План строится вокруг того, что должно быть верно после переключения.
До оценки нужны объём, источники, критичные сущности, требования к простою и способ сверки. Если этих сведений нет, сначала определяем их вместе.
02 /
Системы объединяются
Нужны правила идентичности, дедупликации и разрешения конфликтов.
03 /
Нельзя надолго остановиться
Перенос должен учитывать изменения, которые продолжаются во время работы продукта.
Этапы
Сначала проба и сверка, затем переключение.
01 /
Карта данных
Источники, связи, качество и правила преобразования.
02 /
Пробный прогон
Небольшой участок, замеры скорости и учёт исключений.
03 /
Основной перенос
Пакеты, контрольные точки и наблюдение за ошибками.
04 /
Сверка и запуск
Проверка количества и смысла данных, доступности и плана возврата.
Пример подхода
Перенос заказов с продолжающимися изменениями.
Сначала определяются идентификаторы и инварианты заказа. Исторические записи переносятся партиями, новые изменения учитываются отдельно. Перед переключением сверяются критичные состояния и выбирается момент, когда новая система становится источником истины.
Способ синхронизации зависит от доступных систем и допустимого окна переключения.
Переход между системами
Перенести. Сверить. Переключить.
Данные · качество · доступность
Частые вопросы
Можно перенести без простоя?
Возможность зависит от источников, способа фиксации изменений и требований к согласованности. Это выясняется при проектировании перехода.
Как доказать, что данные не потеряны?
Нужны заранее выбранные контрольные проверки: объёмы, связи, инварианты и выборочная сверка значимых записей.
Что делать с ошибочными записями?
Исключения собираются отдельно, классифицируются и обрабатываются по согласованным правилам; их нельзя молча отбросить.
Следующий шаг
Расскажите о вашей задаче.
Опишите систему, цель и ограничения. В ответ предложим следующий шаг, формат работы и способ технического контроля.