Как скопировать файл fron windows os в cloudera? Я также хочу импортировать CSV файл в улей, как я могу это сделать?

99
8

Как скопировать файл из ОС Windows в cloudera? Я также хочу импортировать CSV файл в улей, как я могу это сделать? Пожалуйста, помогите мне сделать это.

спросил(а) 2014-04-25T00:19:00+04:00 6 лет, 6 месяцев назад
1
Решение
115

Чтобы получить файл в Linux, вам понадобится либо ftp его в поле CentOS CLoudera, либо скопируйте общий файл и скопируйте его оттуда.

Однажды в окне CentOS/Cloudera вы можете открыть веб-браузер и войти в Cloudera Manager и Hue, который является пользовательским интерфейсом к Hive/Pig и т.д. Значки расположены сверху, а третий слева - Beeswax/Hive. Нажмите на этот значок и начните оттуда.

Ваш другой выбор, если у вас есть файл в блоке Cloudera, заключается в использовании команд Hadoop fs, найденных ЗДЕСЬ, в частности, copyFromLocal

Чтобы загрузить файл в Hive, вы можете сделать одну из двух вещей. Загрузите его в одно большое промежуточное поле, а затем проанализируйте его в полях, которые вы хотите использовать смещения так:

LOAD DATA INPATH '/user/xyz/Inbound/files/target.csv' INTO TABLE 'myTable'

Это загружает всю запись в одно поле. Затем вы будете делать следующее после загрузки.

INSERT OVERWRITE TABLE myTable SELECT
regexp_extract(col_value, '^(?:([^,]*)\,?)(1)', 1) New_Field_name1
regexp_extract(col_value, '^(?:([^,]*)\,?)(5)', 1) New_Field_name2
......
FROM myTable;

Синтаксис выглядит сложным, но это неплохо, вам просто нужно прочитать HiveQL Hue также позволяет загружать CSV в отдельные поля, но вы должны сами добавлять имена полей. Я никогда не делал этого раньше.

ответил(а) 2014-04-25T01:59:00+04:00 6 лет, 6 месяцев назад
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема