Лучший метод для пакета ETL для загрузки всех данных изначально, а затем следующего запуска, чтобы загружать только изменения или новые элементы

65
6

Я новичок в SSIS и хотел бы, чтобы лучший способ создания пакета ETL сначала загружать все данные, а затем запускать только для загрузки изменений или новых элементов. Я буду использовать пакет в задаче расписания SQL. Я знаю, что я могу установить пакет SSIS для обрезания таблицы назначения, но для меня это пустая трата ресурсов, и если большие таблицы касаются журнала транзакций, это будет огромным.

Заранее спасибо!

спросил(а) 2021-01-27T15:45:36+03:00 8 месяцев, 3 недели назад
1
Решение
65

Я думаю, что для этого существует более одного метода:

Добавление ссылочной таблицы, содержащей последний вставленный идентификатор (или значение первичного ключа), и эта таблица должна обновляться каждый раз. Используя Change Capture (CDC), вы можете обратиться к этой статье за дополнительной информацией об этом: Введение в Change Capture (CDC) в SQL Server 2008 (обратите внимание, что база данных должна быть настроена для включения CDC - может не работать с вашим ситуация) Добавление столбца LastUpdate в таблицу и дата только для чтения, когда LastUpdate столбца LastUpdate выше, чем последняя работающая дата задания LastUpdate SSIS.

ответил(а) 2021-01-27T15:45:36+03:00 8 месяцев, 3 недели назад
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема