Azure-Data-Factory – вопросы и ответы

61
голос
1
ответ
Как упомянуто в ссылке ниже, я сначала запускаю Lookup. Он дает мне электронные идентификаторы, а затем для каждого идентификатора электронной почты я вызываю запрос POST. Итерация по таблице SQL A...
2 месяца, 2 недели назад Gagan
130
голосов
1
ответ
Я начну прямо с моего вопроса: возможно ли подключиться к набору данных по помещению в пользовательской деятельности фабрики Azure Data Factory через шлюз управления данными? Usecase: У меня есть л...
2 месяца, 2 недели назад Torben
97
голосов
1
ответ
Я хочу запланировать мой эксперимент AzureML компанией Azure Data Factory (ADF). После прохождения моей работы из azureML-конвейера я столкнулся с этой проблемой: "Пакетное выполнение завершилось с...
2 месяца, 2 недели назад Azadeh Esmaily
75
голосов
1
ответ
Я создаю кластер HDInsights на Azure согласно этому описанию Теперь я хотел бы настроить собственный параметр искры, например spark.yarn.appMasterEnv.PYSPARK3_PYTHON или spark_daemon_memory во врем...
2 месяца, 2 недели назад David Greenshtein
63
голоса
1
ответ
Я работаю над созданием TumblingWindowTrigger, который задает параметр расписания, чтобы я мог выполнять обратную загрузку данных. После выполнения команды PowerShell ниже в пользовательском интерф...
2 месяца, 2 недели назад Rajesh
75
голосов
1
ответ
У меня более 200 таблиц MSSQL, и я хочу передать данные в хранилище данных Azure Data Lake. Один из подходов, который я рассматриваю, - это использовать SSIS с динамическими потоками данных, т.е. С...
2 месяца, 2 недели назад Nario
108
голосов
2
ответа
Я связал функцию Azure в конвейере фабрики данных, которая записывает текстовый файл в хранилище BLOB-объектов. Функция Azure отлично работает, когда выполняется независимо, и записывает файл в хра...
2 месяца, 2 недели назад mahesh
97
голосов
1
ответ
На моем Azure Data Factory мониторинг показывает, что показывается только активность трубопровода, которая была запущена по расписанию. Я выполнил несколько конвейеров вручную. Кажется, что они не ...
2 месяца, 2 недели назад Randy Minder
87
голосов
1
ответ
Первый плакат, долгое время читатель. Сторонний провайдер загружает CSV файлы один раз в день на общее хранилище Azure Blob. Файлы имеют определенный префикс с меткой времени в имени файла и находя...
2 месяца, 2 недели назад M. Eklund
75
голосов
2
ответа
У меня есть 2 файла blob для копирования в Azure SQL-таблицы. Мой трубопровод с двумя видами деятельности: { "name": "NutrientDataBlobToAzureSqlPipeline", "properties": { "description": "Copy nutri...
2 месяца, 2 недели назад Amel Salibasic
106
голосов
1
ответ
Я получаю сообщение об ошибке, указывающее, что идентификатор является числом при запуске "создания документа" на шаге DocumentDb в моем логическом приложении. Как я могу toString номер id на этапе...
2 месяца, 3 недели назад MonkeyBonkey
62
голоса
2
ответа
Я хочу запустить хранимую процедуру с помощью linkdeservice (azure sql database) и вывести результат этой хранимой процедуры в набор данных (базу данных azure sql). Это возможно? В настоящее время ...
2 месяца, 3 недели назад Jimmyt1988
61
голос
1
ответ
При создании связанного ресурса HDInsight On Demand Data Factory создает новый контейнер для hdinsight. Интересно узнать, как я могу создать таблицу, которая указывает на этот контейнер? Вот мое оп...
2 месяца, 3 недели назад H.Z.
107
голосов
1
ответ
Пытаясь запустить активность улья с использованием фабрики данных, конвейер завершился отлично, а таблица с данными создается внутри кластера, но выходной набор данных не создает файл в хранилище д...
2 месяца, 3 недели назад dahund
-4
голоса
1
ответ
Можно ли интегрировать ADF с TFS 2019 с помощью репозитория кода установки, как мы можем это сделать с VSTS? Учетная запись TFS не отображается в раскрывающемся списке репозитория кода установки, л...
2 месяца, 3 недели назад Priya.D
87
голосов
1
ответ
Я создал ADF-конвейер, используя sliceIdentifierColumnName который хорошо работал, поскольку он sliceIdentifierColumnName поле с GUID, как ожидалось. В последнее время, однако, это поле перестало б...
2 месяца, 3 недели назад Dave Od
-4
голоса
1
ответ
Я строю трубопровод через завод данных Azure. Входной набор данных - это файл csv с разделителем столбцов, а выходной набор данных также является разделителем столбцов файла csv. Конвейер сконструи...
2 месяца, 3 недели назад User13021993
-8
голосов
2
ответа
Я использую фабрику данных Azure. Как можно постепенно перемещать данные из Google BigQuery в Azure Blob.
2 месяца, 3 недели назад Sai Akhil
76
голосов
1
ответ
Попытка запустить конвейер Azure Data-factory, содержащий активность свиньи, которая работает по кластеру HDI по требованию и считывается из службы привязки данных на основе лазурного хранилища. Сц...
2 месяца, 3 недели назад Hemanth meka
98
голосов
2
ответа
Мне нужно добавить динамический контент в АПД. Таким образом, чтобы получить дату последнего месяца, как указано ниже. Результат: 2018-12.csv.zip
2 месяца, 3 недели назад Praveen kumar
106
голосов
1
ответ
Может ли кто-нибудь сказать мне, как мы можем успешно подключить ИК-шлюз к Redshift и вытащить данные в Azure, в настоящее время я не могу подключиться к redshift, у меня есть белый, указанный в Ru...
2 месяца, 3 недели назад Anmol001
97
голосов
1
ответ
Я ищу для перемещения файлов с нескольких файловых серверов (доступ через SFTP) в Snowflake напрямую с помощью соединителя Python Snowflake. Я рассмотрел возможность использования фабрики данных (A...
2 месяца, 3 недели назад mdgrotheer
155
голосов
1
ответ
Я не уверен, поддерживает ли Azure Data Factory проект в Visual Studio 2017 на данный момент. Я только что установил VS 2017, но не могу открыть наше решение, так как есть один проект azure data Fa...
2 месяца, 3 недели назад Cuong Le
96
голосов
1
ответ
Я создал ADF для моего проекта, который состоит из пользовательской активности и хранимой процедуры. То, что я заблокирован здесь. Моя пользовательская активность позволяет получить самый последний...
2 месяца, 3 недели назад Jayendran
-4
голоса
1
ответ
У меня есть набор CSV файлов, хранящихся в хранилище BLOB-объектов Azure. Я читаю файлы в таблицу базы данных с помощью задачи "Копировать данные". Источник устанавливается как папка, в которой нах...
2 месяца, 3 недели назад Niel
62
голоса
1
ответ
Я нашел эту документацию, фабрику данных Azure - функции и системные переменные , однако она не показывает, как я могу получить доступ к другим элементам. Например, имя конвейера, чтобы я мог перед...
2 месяца, 3 недели назад Mike Cales
62
голоса
1
ответ
Я пытаюсь скопировать данные из SAP Hana в Azure Data Lake Store (DLS), используя операцию копирования в конвейере данных через фабрику данных Azure. Наша операция копирования работает отлично, и м...
2 месяца, 3 недели назад Mitchell Griest
62
голоса
1
ответ
У меня есть клиентский запрос для решения моей фабрики данных Они хотят запустить мою Data-Factory, когда когда-либо файл i/p доступен в хранилище Blob/любом месте. Чтобы быть предельно ясным, они ...
2 месяца, 3 недели назад Jayendran
76
голосов
1
ответ
У меня есть связанная служба, для которой требуется авторизация и идентификатор сеанса. Цель состоит в том, чтобы создать проект ADF на местном уровне и направить его на Azure через конвейер VSTS C...
2 месяца, 3 недели назад vignesh srinivasan
87
голосов
1
ответ
Вызов всех гуру PowerShell! Я пытаюсь использовать командлет Get-AzureRmDataFactoryV2ActivityRun в azurerm PowerShell azurerm . Когда я пытаюсь выполнить запрос, он говорит: Get-AzureRmDataFactoryV...
2 месяца, 3 недели назад TJ Zimmerman
87
голосов
1
ответ
Я создаю пользовательскую активность, реализуя интерфейс IDotNetActivity. Вот несколько шагов, которые я выполняю в своей пользовательской деятельности: Прочитать файл из контейнера blob. Сделайте ...
2 месяца, 3 недели назад Sudama Tripathi
106
голосов
2
ответа
Есть ли обходной путь для того, что вам нужно указать первый параметр хранимой процедуры (тот, который содержит тип таблицы) точно так же, как свойство "tableName" во входном наборе данных? Im испо...
2 месяца, 3 недели назад soderstromOlov
61
голос
1
ответ
В настоящее время я использую Data Factory V1. У меня есть трубопровод с двумя цепями: Первым действием является операция копирования, которая извлекает таблицу из SQLDB в файл.tsv в Data Lake Stor...
2 месяца, 4 недели назад Tomás Law
75
голосов
1
ответ
Мы реализуем решение для достижения аналогичной функциональности, как и sys-пакетов, для копирования данных из одной базы данных в другую (по существу, для azure SQL). В SSIS мы имеем возможность н...
2 месяца, 4 недели назад arpan desai
97
голосов
2
ответа
У меня есть пакет служб SSIS, который успешно использует коннектор Microsoft SAP BW. Администратор SAP настроил свою сторону так, чтобы он использовал цепочку процессов и ProgramId в качестве крите...
2 месяца, 4 недели назад binway
77
голосов
1
ответ
Я выполнил все шаги, показанные в документации MSDN, чтобы скопировать файл с FTP . Пока создаются наборы данных, созданы связанные серверы, создается конвейер. Диаграмма для конвейера показывает л...
2 месяца, 4 недели назад PaulFrancis
114
голосов
1
ответ
У меня есть фабрика данных, которая копирует данные из полноценного веб-сервиса в хранилище данных Azure. Я проверил и просмотрел все соединения и наборы данных. Я получаю следующее сообщение об ош...
3 месяца назад Ricky Jones
76
голосов
2
ответа
Мне нужно Копировать данные пошагово с сервера On-Prem SQL в таблицу в Azure Data Lake Store. Но при создании операции копирования с использованием Azure Portal в Destination я вижу только папки (н...
3 месяца назад NSS
122
голоса
2
ответа
Я должен подключить MongoDB в фабрике данных Azure, пароль mongoDB имеет знак "@", что, похоже, вызывает некоторые проблемы. есть ли способ избежать этого персонажа? строка подключения похожа на пр...
3 месяца назад Joe Samraj
114
голосов
1
ответ
Я пытаюсь ежедневно загружать кучу таблиц на Azure SQL DW с использованием Azure Data Factory, но мне нужна помощь в преобразовании таблиц DBF (в CSV было бы неплохо) до их загрузки. Может ли кто-н...
3 месяца назад Felipe Souza Lima
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема