Hive – вопросы и ответы

67
голосов
2
ответа
Я новичок в искры и улей. Мне нужно понять, что происходит, когда в Spark запрашивается таблица улей. Я использую PySpark Пример: warehouse_location = '\user\hive\warehouse' from pyspark.sql import...
3 месяца, 1 неделя назад Harish
67
голосов
3
ответа
У меня установлен кластер AWS EMR с улей. Я хочу подключиться к серверу hive thrift с моей локальной машины с помощью java. Я пробовал после code- Class.forName("com.amazon.hive.jdbc3.HS2Driver"); ...
3 месяца, 1 неделя назад kshpra
120
голосов
2
ответа
Как правило, если мы создадим таблицу Hive с паркетом или ORC, она будет сканировать конкретный столбец, который мы упомянули в запросе выбора. Но допустим, у меня есть 10 CSV файлов и я создал вне...
3 месяца, 1 неделя назад SQLadmin
97
голосов
3
ответа
SELECT (case TRIM(T.tactictype) WHEN 'Economics' THEN (select economic_tactic_id from cfext.economic_tactics E where LOWER(E.economic_tactic_name) = LOWER(T.tacticname) ) WHEN 'Cyber' THEN (select ...
3 месяца, 1 неделя назад phani
78
голосов
1
ответ
У меня есть hdfs-папка со многими csv.gz внутри, все с той же схемой. Мой клиент должен прочитать содержимое этих таблиц через Hive. Я попытался применить https://cwiki.apache.org/confluence/displa...
3 месяца, 1 неделя назад Rolintocour
-4
голоса
1
ответ
Я использую Hive и R для оценки модели машинного обучения на большом наборе данных. Однако код дает следующую ошибку. Я протестировал R-скрипт отдельно в своем локальном для любых ошибок и гарантир...
3 месяца, 1 неделя назад Sachin Sharma
55
голосов
1
ответ
1) Я выполнил задачу в Hive (Hadoop). 2) Также есть некоторый графический интерфейс, который находится в.NET. Моя задача - из этого графического интерфейса, я хочу отправить все параметры в Hive (U...
3 месяца, 1 неделя назад Bhavesh Shah
110
голосов
1
ответ
Я пытаюсь экспортировать данные таблицы Hive f1 в файл csv из "s3://mubucket/exported.csv". Я создал кластер в Amazon EMR и использовал -emr-4.0.0. Распределение Hadoop: Amazon 2.6.0 и Hive 1.0.0. ...
3 месяца, 1 неделя назад hari
77
голосов
2
ответа
есть некоторые данные, такие как следующий формат url | ip -----------------------+----------------- http://aaa.com/ | 1.1.1.1 http://bbb.com/ | 1.2.3.5 http://ccc.com/ | 1.1.1.6 http://ddd.com/ | ...
3 месяца, 1 неделя назад kEvin
77
голосов
1
ответ
У меня таблица подписки выглядит следующим образом. Есть около 1 миллиона уникальных идентификаторов. В таблице перечисляется статус подписки, когда пользователь начал подписку на услугу, как указа...
3 месяца, 1 неделя назад ohmyan
77
голосов
1
ответ
Каково влияние на выполнение запросов в Hive, если я обмениваю раздел, используя ALTER TABLE user_data PARTITION (name = 'ABC') SET LOCATION = 'db/partitions/new'; Остается ли эта команда ждать зав...
3 месяца, 1 неделя назад Nick
77
голосов
3
ответа
hive>LOAD DATA INPATH '/hadoop/abc/POC2_Setup/input/warr2_claims_5441F.csv' OVERWRITE INTO TABLE baumuster_pre_analysi_text; FAILED: SemanticException Line 1:17 Invalid path ''/hadoop/abc/POC2_S...
3 месяца, 1 неделя назад Ram Kishor
67
голосов
1
ответ
Я запускаю простой запрос соединения select count(*) from t1 join t2 on t1.sno=t2.sno Таблица t1 и t2 имеют по 20 миллионов записей каждый, а столбец sno имеет строковый тип данных. Данные таблицы ...
3 месяца, 1 неделя назад Ahmad Osama
54
голоса
1
ответ
Spark 2.0 - pyspark Я видел следующие 2 свойства в паре. В чем разница между ними? hive> SET hive.exec.dynamic.partition=true; hive> SET hive.exec.dynamic.partition.mode=non-strict; Я знаю, к...
3 месяца, 1 неделя назад Micah Pearce
68
голосов
5
ответов
Я пытаюсь импортировать некоторые данные из mysql в hive через sqoop. Он работает, когда оба sqoop и mysql db находятся на одном и том же хосте, иначе он терпит неудачу. Это запрос, который я выпол...
3 месяца, 1 неделя назад Vikrant Goel
54
голоса
1
ответ
У меня есть один файл. Он содержит 4 поля, из которых последние два поля являются массивами. Поэтому я создал таблицу в Hive как: create table testtable(f1 string, f2 string, f3 array<string>...
3 месяца, 1 неделя назад Bhavesh Shah
111
голосов
1
ответ
Следующий HQL работает для создания таблицы Hive в HDInsight, которую я могу успешно запросить. Но у меня есть несколько вопросов о том, ПОЧЕМУ это работает: Фактически, мои строки данных завершают...
3 месяца, 1 неделя назад Jason
68
голосов
1
ответ
Сгенерированный вывод reducebykey представляет собой ShuffledRDD с ключ-значением как массив из нескольких полей. Мне нужно извлечь все поля и записать в таблицу улей. Ниже приведен код, который я ...
3 месяца, 1 неделя назад sandip
95
голосов
3
ответа
У меня есть внешняя таблица в улье CREATE EXTERNAL TABLE FOO ( TS string, customerId string, products array< struct <productCategory:string, productId:string> > ) PARTITIONED BY (ds str...
3 месяца, 1 неделя назад pchu
79
голосов
1
ответ
При добавлении в таблицу управления улей с помощью saveAsTable выполняется ли работа, выполненная неполным saveAsTable, откатом или частичная информация сохраняется?
3 месяца, 1 неделя назад icarus
77
голосов
1
ответ
Я запускаю запрос long-ish insert в Hive с использованием PyHive 0.6.1, и он терпит неудачу с thrift.transport.TTransport.TTransportException: TSocket read 0 bytes через 5 минут. На стороне сервера...
3 месяца, 1 неделя назад gseva
-7
голосов
1
ответ
У меня есть набор данных, в котором есть столбец с массивом временных меток и столбец с одной меткой времени. Я ищу, чтобы получить размер массива, используя метку времени c1 как условие для больше...
3 месяца, 1 неделя назад moku
55
голосов
1
ответ
Может кто-то, пожалуйста, помогите по нижнему запросу куста. Я знаю, что ниже не работает, поскольку улей не поддерживает объединения non equi. SELECT a.ymd, a.price_close, b.price_close FROM stock...
3 месяца, 1 неделя назад Naveen
119
голосов
1
ответ
Я пытаюсь подключить R к кластеру Hadoop, используя R. В кластере установлены HDFS, Map Reduce, Hive, Pig и Sqoop. R будет работать в среде Windows. Я знаю, что для Linuix существуют rhdfs, rhadoop...
3 месяца, 1 неделя назад Rick Gittins
103
голоса
1
ответ
Я хотел бы добавить столбец Row Numbering или Row Sequence ID, который будет автоматически увеличивать значение id строки. Hive UDF UDFRowSequence можно использовать, но он работает в одном редукто...
3 месяца, 1 неделя назад user145610
55
голосов
2
ответа
У меня две таблицы, одна маленькая (~ 6K строк) и другая большая (~ 3M строк) Таблица выглядит так: ## Table 1 ----------------------------------- | colA | colB | colC | ... | colZ | --------------...
3 месяца, 1 неделя назад B.Mr.W.
103
голоса
1
ответ
помогите мне в следующем выпуске. когда я попытался создать новую таблицу в улье с ключевым словом location, я получаю следующую ошибку. пожалуйста помогите hive> create table employee2(empid in...
3 месяца, 1 неделя назад user4910881
55
голосов
1
ответ
Я использую hasoop 1.1.2, hbase 0.94.8 и hive 0.14. Я пытаюсь создать таблицу в hbase, используя куст и загружаю данные в нее позже, вставив переписывание. на данный момент мне удалось создать табл...
3 месяца, 1 неделя назад Yosr Abdellatif
105
голосов
1
ответ
У меня есть таблица без разделов create table tabUn ( col1 string, col2 int ) Допустим, у него есть некоторые данные. Затем я создал разбитую таблицу CREATE EXTERNAL TABLE tabPart ( col1 string, co...
3 месяца, 1 неделя назад AbtPst
67
голосов
2
ответа
Есть ли способ изменить таблицу базы данных в hive или Hcatalog? Например, у меня есть таблица foo в базе данных по default , и я хочу поместить эту таблицу в bar базы данных. Я пробую это, но это ...
3 месяца, 1 неделя назад user2265478
66
голосов
1
ответ
У меня возникла проблема с использованием улья для выбора данных в больших диапазонах Здесь HQL я хочу выполнить: INSERT OVERWRITE TABLE summary_T partition(DateRange='20131222-20131228') select co...
3 месяца, 1 неделя назад Dennis Shen
66
голосов
2
ответа
Я попытался создать таблицу улья, имеющую> 1000 полей (столбцов), используя сложную структуру данных. Но в итоге я получил ошибку ниже. Ошибка выполнения, код возврата 1 из org.apache.hadoop.hiv...
3 месяца, 1 неделя назад kunaal
97
голосов
1
ответ
Я пытаюсь создать таблицу ORE для ВИЧ. Мой подход к созданию таблицы ORC выглядит следующим образом: Я создал 2 таблицы hive с той же структурой (один OCR и второй TEXTFIle). например, у меня табли...
3 месяца, 1 неделя назад Jagib
100
голосов
1
ответ
У меня есть следующий условный оператор, который я пытаюсь преобразовать в улей if [my_time] > [your_time] then [my_time] elseif isNull ([your_time]) then [my_time] else null() endif Также my_ti...
3 месяца, 1 неделя назад jumpman8947
67
голосов
1
ответ
У меня есть структурированный набор данных, такой как тот, который хранится в Hive, назовите его df: +-----+-----+----------+--------+ | id1 | id2 | date | amount | +-----+-----+----------+--------...
3 месяца, 1 неделя назад dave
102
голоса
2
ответа
Я выполнил куст sql по оттенку. но связанная с ним работа по созданию карты была убита. Как найти причину? Где найти связанные журналы? Не удается найти журнал через историю заданий.
3 месяца, 1 неделя назад kino lucky
87
голосов
2
ответа
Не могли бы вы помочь мне с проблемой Hive Query Efficiency? У меня два запроса, работающих по той же проблеме. Я просто не могу понять, почему он намного быстрее, чем другой. Если вы знаете, пожал...
3 месяца, 1 неделя назад Counter10000
67
голосов
2
ответа
Предположим, что я загружаю данные из некоторого файла в таблицу Hive. Данные загружаются успешно. Теперь, чтобы увидеть записи, я запускаю запрос select, который затем запускает "Уменьшение карты"...
3 месяца, 1 неделя назад Loui
56
голосов
2
ответа
У меня есть hive sever, работающий по умолчанию, порт 10000, запущенный через: hive --service hiveserver Затем у меня есть Java-программа (учебник!), Используя клиент Hive JDBC для подключения к не...
3 месяца, 1 неделя назад Zugwalt
68
голосов
1
ответ
У меня есть внутренняя таблица и внешняя таблица в S3. В чем разница между наличием внутренней таблицы в HDFS и S3? В чем разница между внутренней таблицей и внешней таблицей, хранящейся в S3? Если...
3 месяца, 1 неделя назад I1095
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема