Etl – вопросы и ответы

91
голос
3
ответа
Я ищу некоторые достойные примеры/образцы, используя SSIS, чтобы сделать некоторый ETL из одной базы данных SQL Server в другую, не обязательно в том же экземпляре. Идея состоит в том, чтобы перене...
8 месяцев, 3 недели назад RobS
92
голоса
1
ответ
Я сохранил большую таблицу в качестве generate script (например, это ). Таким образом, итоговый sql файл имеет ~ миллиард строк кода INSERT INTO . Скажем, таблица составляет около 30 Гб, а мой комп...
8 месяцев, 3 недели назад Y Zhang
102
голоса
1
ответ
Мне не удалось найти прямых ответов, поэтому я подумал, что попрошу здесь. Можно ли использовать ETL, например AWS Glue, для выполнения агрегаций, чтобы снизить разрешение данных до AVG, MIN, MAX и...
8 месяцев, 3 недели назад Alpenglow
65
голосов
1
ответ
Я новичок в SSIS и хотел бы, чтобы лучший способ создания пакета ETL сначала загружать все данные, а затем запускать только для загрузки изменений или новых элементов. Я буду использовать пакет в з...
8 месяцев, 3 недели назад Brian Tran
65
голосов
1
ответ
У меня есть преобразование SCD, и когда я повторно запускаю те же пакеты, 47 обновляет записи, хотя ничего не обновляется. Единственные несоответствия, которые я вижу, это то, что эти 47 записей на...
8 месяцев, 3 недели назад user3512885
80
голосов
1
ответ
У меня странная проблема с моей базовой программой ETL. Программа отлично работает в редакторе программ базы SAS, но она прерывается в пакетном режиме. Я в настоящее время отлаживаю весь код, и я п...
8 месяцев, 3 недели назад user3411273
92
голоса
1
ответ
Я использую SQL Server 2014 с SSIS У меня есть набор данных следующим образом: ID Name Status 1 Awesome "Store" Active 2 Market, Place Active 3 Vendor Active В SSMS, когда результаты находятся в се...
8 месяцев, 3 недели назад Mike Deluca
103
голоса
1
ответ
У меня есть оракул db, который имеет около 20 таблиц. Я хотел бы вывести данные из таблиц оракула в ведро S3. Я хотел бы сделать это в реальном времени или в худшем случае почти в реальном времени....
8 месяцев, 3 недели назад Punter Vicky
92
голоса
1
ответ
Ниже приведена диаграмма диаграммы ETL. Я действительно смущен, если это хорошая практика для создания такой блок-схемы. Особенно в линиях, соединяющих конечный вывод, и большой ящик, используемый ...
8 месяцев, 3 недели назад Thunder
79
голосов
1
ответ
У меня более 200 таблиц MSSQL, и я хочу передать данные в хранилище данных Azure Data Lake. Один из подходов, который я рассматриваю, - это использовать SSIS с динамическими потоками данных, т.е. С...
8 месяцев, 3 недели назад Nario
113
голосов
2
ответа
После установки Eclipse 3.7.2 на мою машину разработки Ubuntu 12.04 я не смог выполнить какие-либо пакеты/интерфейсы/процедуры ODI. При выполнении (как для имитируемых, так и для реальных запусков)...
8 месяцев, 3 недели назад Ooberdan
65
голосов
4
ответа
Операционные базы данных идентичной структуры работают в нескольких странах. country A has table Users with column user_id country B has table Users with column user_id country C has table Users wi...
8 месяцев, 3 недели назад Dennis
-5
голосов
1
ответ
Я хочу экспортировать расширение файла .csv из SSIS. Мои данные таковы: Customer Customer Name Address AA00 Hla Hla,Ms Yangon AA02 Kyaw,U Taunggyi Я хочу, чтобы плоский файл имел следующий формат: ...
8 месяцев, 3 недели назад Naing99
91
голос
2
ответа
У меня есть работа Pentaho, и в самой работе я хочу оценить состояние и отправить задание в одном из двух направлений на основании результата этого условия. В частности, я хочу посмотреть, будет ли...
8 месяцев, 3 недели назад urbanmojo
79
голосов
2
ответа
Не могли бы вы, ребята, помочь мне (указать мне правильное направление), как я могу добиться следующих результатов в SSIS. Итак, у меня есть плоский файл, который выглядит так ColumnA ColumnB Colum...
8 месяцев, 3 недели назад fo2bug
79
голосов
1
ответ
У меня есть.txt исходный файл, содержащий NonASCII . У нас есть скалярная функция в SQl ( [dbo].[RemoveNonASCII] ), как я могу использовать эту функцию в ssis для удаления символов ASCII. Я могу ис...
8 месяцев, 3 недели назад Sarcastic Dev
92
голоса
1
ответ
У меня есть пакет SSIS, в котором данные загружаются из таблицы с разделителями в таблицу SQL. Работа завершается неудачей со следующим сообщением, и это случается с перерывами один или два раза в ...
8 месяцев, 3 недели назад Gibin T George
102
голоса
1
ответ
У меня есть довольно простой пакет служб SSIS, который загружает файл .csv в таблицу SQL. Однако, когда пакет пытается прочитать источник .csv в задаче потока данных, я получаю сообщение об ошибке:...
8 месяцев, 3 недели назад ManMadeNova
138
голосов
3
ответа
По какой-то причине этот запрос не работает в SSIS Select IDLOGARCHIVOS, NOMBREARCHIVO, FECHACREACION from ATEN_TDCMARK.LOGARCHIVOS where trunc(FECHACREACION, 'DDD') = trunc(sysdate, 'DDD') Но когд...
8 месяцев, 3 недели назад Jorge
81
голос
1
ответ
У меня есть одна база данных производства Neo4j и база данных аварийного восстановления. Каждую неделю данные в Production должны быть доступны в базе данных аварийного восстановления. У меня есть ...
8 месяцев, 3 недели назад Juhan
-5
голосов
3
ответа
У нас есть бинарный файл (из телекоммуникационной системы). Может ли SSIS это прочитать? Из того, что я прочитал о Raw File Source , он может читать только файлы, созданные в Raw File Destination ....
8 месяцев, 4 недели назад lit
65
голосов
3
ответа
Я создаю пакет SSIS и пытаюсь извлечь данные, вызывая хранимые процедуры из одной базы данных и вставляя значения набора результатов в другую таблицу из другой базы данных. Я создал задачу Execute ...
8 месяцев, 4 недели назад Tom
65
голосов
1
ответ
Мой пакет SSIS занимает огромное время. Когда я проверил, Сортировка занимает время. Из некоторых статей в Интернете я также узнал, что Сорт - действительно дорогая операция. Есть ли другой вариант...
8 месяцев, 4 недели назад Jyothish Bhaskaran
91
голос
2
ответа
В настоящее время я делаю Switch от R до python и удивляюсь, что я могу ускорить следующие операции с файлами данных. У меня есть набор данных о продажах, состоящий из 500 тыс. Строк и 17 столбцов,...
8 месяцев, 4 недели назад friedrich
79
голосов
1
ответ
Я хотел бы знать, есть ли какой-нибудь шаблон excel для загрузки, который вы должны заполнить, чтобы импортировать данные из excel в AX 2012. Например, Клиенты и Глобальная адресная книга . Наш тек...
8 месяцев, 4 недели назад Tito
79
голосов
1
ответ
Я пытаюсь разработать работу, которая может генерировать 1 Excel файл с двумя вкладками. В принципе, я хочу достичь: вкладка 1 основана на входном файле 1, вкладка 2 основана на входном файле 2 У м...
8 месяцев, 4 недели назад user6186914
65
голосов
1
ответ
Я хочу преобразовать два значения в столбе с ложкой. У меня есть значение "1" в столбце gender и хочу изменить его на значение "Мужской". И у меня есть значение "0" в пол колонке и вы хотите измени...
8 месяцев, 4 недели назад user4910881
120
голосов
1
ответ
Я создаю новые компоненты талантов, которые отлично работают. Они будут находиться в базе данных /SAP (ее вкладка таблицы SAP R3). Я застрял с помощью Drag & Drop для схемы, а затем выберите со...
8 месяцев, 4 недели назад Balazs Gunics
79
голосов
1
ответ
Когда я запускаю источник Kettle 8.0 по идее intellij, я получаю следующую ошибку: log4j: ERROR Не удалось разобрать файл [plugins/kettle5-log4j-plugin/log4j.xml]. Выход ошибки выглядит следующим о...
8 месяцев, 4 недели назад Galen
129
голосов
2
ответа
У нас есть несколько пакетов DTSX, которые извлекают данные Transform-Load из ряда устаревших баз данных → SQL Server 2k8 R2. (через ODBC) Большинство наших сценариев T-SQL процесса ETL Унаследован...
8 месяцев, 4 недели назад Eoin Campbell
102
голоса
3
ответа
Прямо сейчас у меня есть запрос выбора, который в основном делает Table1 минус table2 (включая записи, которые отличаются), Left join и null null. Мой запрос: SELECT table1.serial_number, table1.eq...
8 месяцев, 4 недели назад sagi
65
голосов
2
ответа
У меня есть приложение, которое анализирует файл, который находится в формате zip, и приводит к некоторым файлам csv. Итак, теперь у меня есть требование, чтобы я должен был сделать файл jar из при...
8 месяцев, 4 недели назад lucifer
92
голоса
1
ответ
Я новичок в мире ETL, и я пытаюсь организовать отправку файла данных из другой компании, чтобы затем он мог быть ETLed в хранилище данных. Я буду развивать ETL через Integration Services на SQL Ser...
8 месяцев, 4 недели назад BitwiseStarter
92
голоса
1
ответ
Можно ли создать интерфейс ODI, который создает несколько плоских файлов на основе уникальных записей в таблице SQL? Существует много информации о том, как объединить несколько плоских файлов в одн...
8 месяцев, 4 недели назад smomotiu
66
голосов
2
ответа
Используя источник SSIS XML, я хотел бы прочитать следующий XML <Stock> <OnHand>1</OnHand> <Proximity>xx</Proximity> <Reserved>2</Reserved> <Proximity&g...
8 месяцев, 4 недели назад Thomas Koelle
102
голоса
1
ответ
Я использую Pentaho Data Integration для анализа CSV-значений. В одном из входных файлов у меня есть столбцы чисел, которые отформатированы как таковые: +000000000.00000,-0000001000.0000,00000000.0...
8 месяцев, 4 недели назад ProtoFly
91
голос
1
ответ
У меня есть 3 базы данных: одинаковые таблицы та же схема разные данные Я хочу объединить все 3 базы данных в одну базу данных, и я хочу, чтобы база данных результатов была распознана с помощью odo...
8 месяцев, 4 недели назад aziz aziz
65
голосов
1
ответ
Я создаю DAG, который состоит, чтобы упростить, из трех основных задач: Extraction(today) >> Fitting(today) Extraction(yesterday) >> Fitting(today) Fitting(yesterday) >> Eval(toda...
8 месяцев, 4 недели назад Alex Monras
92
голоса
2
ответа
Моя текущая задача - создать отчет о наборе довольно большого набора линейных данных (т.е. где значение 10 зависит от некоторых средних факторов от 9 8 7 6 5 4 3 и т.д. Проблема также в том, что эт...
9 месяцев назад geoaxis
91
голос
2
ответа
Мне нужно сделать много обработки на таблице с 26 + миллионами строк: Определите правильный размер каждого столбца на основе данных столбца. Идентифицировать и удалять повторяющиеся строки. Создайт...
9 месяцев назад O.O
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема