Etl – вопросы и ответы

85
голосов
3
ответа
Я ищу некоторые достойные примеры/образцы, используя SSIS, чтобы сделать некоторый ETL из одной базы данных SQL Server в другую, не обязательно в том же экземпляре. Идея состоит в том, чтобы перене...
1 месяц назад RobS
87
голосов
1
ответ
Я сохранил большую таблицу в качестве generate script (например, это ). Таким образом, итоговый sql файл имеет ~ миллиард строк кода INSERT INTO . Скажем, таблица составляет около 30 Гб, а мой комп...
1 месяц назад Y Zhang
95
голосов
1
ответ
Мне не удалось найти прямых ответов, поэтому я подумал, что попрошу здесь. Можно ли использовать ETL, например AWS Glue, для выполнения агрегаций, чтобы снизить разрешение данных до AVG, MIN, MAX и...
1 месяц назад Alpenglow
61
голос
1
ответ
Я новичок в SSIS и хотел бы, чтобы лучший способ создания пакета ETL сначала загружать все данные, а затем запускать только для загрузки изменений или новых элементов. Я буду использовать пакет в з...
1 месяц назад Brian Tran
61
голос
1
ответ
У меня есть преобразование SCD, и когда я повторно запускаю те же пакеты, 47 обновляет записи, хотя ничего не обновляется. Единственные несоответствия, которые я вижу, это то, что эти 47 записей на...
1 месяц назад user3512885
75
голосов
1
ответ
У меня странная проблема с моей базовой программой ETL. Программа отлично работает в редакторе программ базы SAS, но она прерывается в пакетном режиме. Я в настоящее время отлаживаю весь код, и я п...
1 месяц назад user3411273
86
голосов
1
ответ
Я использую SQL Server 2014 с SSIS У меня есть набор данных следующим образом: ID Name Status 1 Awesome "Store" Active 2 Market, Place Active 3 Vendor Active В SSMS, когда результаты находятся в се...
1 месяц назад Mike Deluca
96
голосов
1
ответ
У меня есть оракул db, который имеет около 20 таблиц. Я хотел бы вывести данные из таблиц оракула в ведро S3. Я хотел бы сделать это в реальном времени или в худшем случае почти в реальном времени....
1 месяц назад Punter Vicky
86
голосов
1
ответ
Ниже приведена диаграмма диаграммы ETL. Я действительно смущен, если это хорошая практика для создания такой блок-схемы. Особенно в линиях, соединяющих конечный вывод, и большой ящик, используемый ...
1 месяц назад Thunder
74
голоса
1
ответ
У меня более 200 таблиц MSSQL, и я хочу передать данные в хранилище данных Azure Data Lake. Один из подходов, который я рассматриваю, - это использовать SSIS с динамическими потоками данных, т.е. С...
1 месяц назад Nario
105
голосов
2
ответа
После установки Eclipse 3.7.2 на мою машину разработки Ubuntu 12.04 я не смог выполнить какие-либо пакеты/интерфейсы/процедуры ODI. При выполнении (как для имитируемых, так и для реальных запусков)...
1 месяц назад Ooberdan
61
голос
4
ответа
Операционные базы данных идентичной структуры работают в нескольких странах. country A has table Users with column user_id country B has table Users with column user_id country C has table Users wi...
1 месяц назад Dennis
-4
голоса
1
ответ
Я хочу экспортировать расширение файла .csv из SSIS. Мои данные таковы: Customer Customer Name Address AA00 Hla Hla,Ms Yangon AA02 Kyaw,U Taunggyi Я хочу, чтобы плоский файл имел следующий формат: ...
1 месяц назад Naing99
85
голосов
2
ответа
У меня есть работа Pentaho, и в самой работе я хочу оценить состояние и отправить задание в одном из двух направлений на основании результата этого условия. В частности, я хочу посмотреть, будет ли...
1 месяц назад urbanmojo
74
голоса
2
ответа
Не могли бы вы, ребята, помочь мне (указать мне правильное направление), как я могу добиться следующих результатов в SSIS. Итак, у меня есть плоский файл, который выглядит так ColumnA ColumnB Colum...
1 месяц назад fo2bug
74
голоса
1
ответ
У меня есть.txt исходный файл, содержащий NonASCII . У нас есть скалярная функция в SQl ( [dbo].[RemoveNonASCII] ), как я могу использовать эту функцию в ssis для удаления символов ASCII. Я могу ис...
1 месяц назад Sarcastic Dev
87
голосов
1
ответ
У меня есть пакет SSIS, в котором данные загружаются из таблицы с разделителями в таблицу SQL. Работа завершается неудачей со следующим сообщением, и это случается с перерывами один или два раза в ...
1 месяц назад Gibin T George
96
голосов
1
ответ
У меня есть довольно простой пакет служб SSIS, который загружает файл .csv в таблицу SQL. Однако, когда пакет пытается прочитать источник .csv в задаче потока данных, я получаю сообщение об ошибке:...
1 месяц назад ManMadeNova
129
голосов
3
ответа
По какой-то причине этот запрос не работает в SSIS Select IDLOGARCHIVOS, NOMBREARCHIVO, FECHACREACION from ATEN_TDCMARK.LOGARCHIVOS where trunc(FECHACREACION, 'DDD') = trunc(sysdate, 'DDD') Но когд...
1 месяц назад Jorge
76
голосов
1
ответ
У меня есть одна база данных производства Neo4j и база данных аварийного восстановления. Каждую неделю данные в Production должны быть доступны в базе данных аварийного восстановления. У меня есть ...
1 месяц назад Juhan
-4
голоса
3
ответа
У нас есть бинарный файл (из телекоммуникационной системы). Может ли SSIS это прочитать? Из того, что я прочитал о Raw File Source , он может читать только файлы, созданные в Raw File Destination ....
1 месяц назад lit
61
голос
3
ответа
Я создаю пакет SSIS и пытаюсь извлечь данные, вызывая хранимые процедуры из одной базы данных и вставляя значения набора результатов в другую таблицу из другой базы данных. Я создал задачу Execute ...
1 месяц назад Tom
61
голос
1
ответ
Мой пакет SSIS занимает огромное время. Когда я проверил, Сортировка занимает время. Из некоторых статей в Интернете я также узнал, что Сорт - действительно дорогая операция. Есть ли другой вариант...
1 месяц назад Jyothish Bhaskaran
85
голосов
2
ответа
В настоящее время я делаю Switch от R до python и удивляюсь, что я могу ускорить следующие операции с файлами данных. У меня есть набор данных о продажах, состоящий из 500 тыс. Строк и 17 столбцов,...
1 месяц назад friedrich
74
голоса
1
ответ
Я хотел бы знать, есть ли какой-нибудь шаблон excel для загрузки, который вы должны заполнить, чтобы импортировать данные из excel в AX 2012. Например, Клиенты и Глобальная адресная книга . Наш тек...
1 месяц назад Tito
74
голоса
1
ответ
Я пытаюсь разработать работу, которая может генерировать 1 Excel файл с двумя вкладками. В принципе, я хочу достичь: вкладка 1 основана на входном файле 1, вкладка 2 основана на входном файле 2 У м...
1 месяц назад user6186914
60
голосов
1
ответ
Я хочу преобразовать два значения в столбе с ложкой. У меня есть значение "1" в столбце gender и хочу изменить его на значение "Мужской". И у меня есть значение "0" в пол колонке и вы хотите измени...
1 месяц назад user4910881
112
голосов
1
ответ
Я создаю новые компоненты талантов, которые отлично работают. Они будут находиться в базе данных /SAP (ее вкладка таблицы SAP R3). Я застрял с помощью Drag & Drop для схемы, а затем выберите со...
1 месяц назад Balazs Gunics
74
голоса
1
ответ
Когда я запускаю источник Kettle 8.0 по идее intellij, я получаю следующую ошибку: log4j: ERROR Не удалось разобрать файл [plugins/kettle5-log4j-plugin/log4j.xml]. Выход ошибки выглядит следующим о...
1 месяц назад Galen
121
голос
2
ответа
У нас есть несколько пакетов DTSX, которые извлекают данные Transform-Load из ряда устаревших баз данных → SQL Server 2k8 R2. (через ODBC) Большинство наших сценариев T-SQL процесса ETL Унаследован...
1 месяц назад Eoin Campbell
95
голосов
3
ответа
Прямо сейчас у меня есть запрос выбора, который в основном делает Table1 минус table2 (включая записи, которые отличаются), Left join и null null. Мой запрос: SELECT table1.serial_number, table1.eq...
1 месяц назад sagi
61
голос
2
ответа
У меня есть приложение, которое анализирует файл, который находится в формате zip, и приводит к некоторым файлам csv. Итак, теперь у меня есть требование, чтобы я должен был сделать файл jar из при...
1 месяц назад lucifer
86
голосов
1
ответ
Я новичок в мире ETL, и я пытаюсь организовать отправку файла данных из другой компании, чтобы затем он мог быть ETLed в хранилище данных. Я буду развивать ETL через Integration Services на SQL Ser...
1 месяц назад BitwiseStarter
86
голосов
1
ответ
Можно ли создать интерфейс ODI, который создает несколько плоских файлов на основе уникальных записей в таблице SQL? Существует много информации о том, как объединить несколько плоских файлов в одн...
1 месяц назад smomotiu
62
голоса
2
ответа
Используя источник SSIS XML, я хотел бы прочитать следующий XML <Stock> <OnHand>1</OnHand> <Proximity>xx</Proximity> <Reserved>2</Reserved> <Proximity&g...
1 месяц назад Thomas Koelle
95
голосов
1
ответ
Я использую Pentaho Data Integration для анализа CSV-значений. В одном из входных файлов у меня есть столбцы чисел, которые отформатированы как таковые: +000000000.00000,-0000001000.0000,00000000.0...
1 месяц назад ProtoFly
85
голосов
1
ответ
У меня есть 3 базы данных: одинаковые таблицы та же схема разные данные Я хочу объединить все 3 базы данных в одну базу данных, и я хочу, чтобы база данных результатов была распознана с помощью odo...
1 месяц назад aziz aziz
61
голос
1
ответ
Я создаю DAG, который состоит, чтобы упростить, из трех основных задач: Extraction(today) >> Fitting(today) Extraction(yesterday) >> Fitting(today) Fitting(yesterday) >> Eval(toda...
1 месяц назад Alex Monras
86
голосов
2
ответа
Моя текущая задача - создать отчет о наборе довольно большого набора линейных данных (т.е. где значение 10 зависит от некоторых средних факторов от 9 8 7 6 5 4 3 и т.д. Проблема также в том, что эт...
1 месяц назад geoaxis
85
голосов
2
ответа
Мне нужно сделать много обработки на таблице с 26 + миллионами строк: Определите правильный размер каждого столбца на основе данных столбца. Идентифицировать и удалять повторяющиеся строки. Создайт...
1 месяц назад O.O
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема