BigQuery: загрузка данных в набор данных ЕС от GCS

63
4

Раньше я успешно загружал данные в US-размещенные наборы данных BigQuery из CSV-данных в ведрах GCS, размещенных в США. Мы с тех пор решили перенести наши данные BigQuery в ЕС, и я создал новый набор данных с выбранным на нем регионом. Я успешно заполнил те из наших таблиц, которые достаточно малы для загрузки с моей машины дома. Но две таблицы слишком велики для этого, поэтому я хотел бы загрузить их из файлов в GCS. Я пробовал делать это как из ведомого GCS в США, так и из контейнера GCS, размещенного в ЕС (считая, что bq load возможно, не нравится пересекать регионы), но загрузка терпит неудачу каждый раз. Ниже приведена ошибка, которую я получаю из командной строки bq (500, Internal Error). Кто-нибудь знает причину, почему это может произойти?

{
"configuration": {
"load": {
"destinationTable": {
"datasetId": "######",
"projectId": "######",
"tableId": "test"
},
"schema": {
"fields": [
{
"name": "test_col",
"type": "INTEGER"
}
]
},
"sourceFormat": "CSV",
"sourceUris": [
"gs://######/test.csv"
]
}
},
"etag": "######",
"id": "######",
"jobReference": {
"jobId": "######",
"projectId": "######"
},
"kind": "bigquery#job",
"selfLink": "https://www.googleapis.com/bigquery/v2/projects/######",
"statistics": {
"creationTime": "1445336673213",
"endTime": "1445336674738",
"startTime": "1445336674738"
},
"status": {
"errorResult": {
"message": "An internal error occurred and the request could not be completed.",
"reason": "internalError"
},
"errors": [
{
"message": "An internal error occurred and the request could not be completed.",
"reason": "internalError"
}
],
"state": "DONE"
},
"user_email": "######"
}

спросил(а) 2021-01-25T11:12:31+03:00 4 месяца, 4 недели назад
1
Решение
63

После поиска других связанных вопросов по StackOverflow я в конце концов понял, что я установил свой регион EUROPE-WEST-1 GCS в EUROPE-WEST-1 а не в многорегиональном регионе EU. Сейчас все работает так, как ожидалось.

ответил(а) 2021-01-25T11:12:31+03:00 4 месяца, 4 недели назад
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема