Hadoop – вопросы и ответы

122
голоса
1
ответ
Сообщение об ошибке выглядит следующим образом: Could not load history file hdfs://namenodeha:8020/mr-history/tmp/hdfs/job_1392049860497_0005-1392129567754-hdfs-word+count-1392129599308-1-1-SUCCEED...
2 месяца, 2 недели назад user3297474
88
голосов
2
ответа
Я новичок в Flume и имею некоторые проблемы с его конфигурацией. Я использую Hortonworks Sandbox HDP 2.6.5 для Oracle VirtualBox (если это важно). У меня есть текстовый файл input_data.txt в моей в...
2 месяца, 2 недели назад jd2050
97
голосов
2
ответа
Этот question имеет отличный ответ для обнаружения циклов в ориентированном графе. К сожалению, создать карту Уменьшить версию не представляется легко. В частности, меня интересует алгоритм сокраще...
2 месяца, 2 недели назад Marcus Ericsson
86
голосов
1
ответ
У меня есть кадр данных pandas oParameterData , который я построил на Hadoop, используя Hive ODBC-соединение. Я использую его для заполнения словаря Python под названием oParameter import pyodbc im...
2 месяца, 2 недели назад Alexis.Rolland
75
голосов
1
ответ
У меня есть настройка кластера HADOOP, и у меня заканчивается дисковое пространство. У меня есть iSCSI LUN, представленный на всех моих серверах, и он отформатирован с помощью LV4 с ext4. Я хочу зн...
2 месяца, 2 недели назад Andrew M
61
голос
2
ответа
Этот этап представляет собой соединение между таблицей A (строки 100k) и B (5 миллионов строк) на ключе. Таблица A - это только таблица с двумя столбцами с идентификатором в качестве ключа соответс...
2 месяца, 2 недели назад greperror
75
голосов
1
ответ
Это мой запрос на улей: set s=date_add(from_unixtime(UNIX_TIMESTAMP()),-200); select * from a where dateString>=${hiveconf:s} который работает очень медленно. По какой-то причине это происходит ...
2 месяца, 2 недели назад Koala
137
голосов
1
ответ
Я новичок в Hadoop. Я пытаюсь загрузить файл журнала в HCatalog. Ниже приведен формат моего файла журнала. Time: 2014-10-28 06:32:34Z UserID: arun GroupID: admin Page: welcome.aspx Message: Login s...
2 месяца, 2 недели назад user1969193
61
голос
2
ответа
Я хочу создать каталог внутри рабочего каталога задания MapReduce в Hadoop. Например, используя: File setupFolder = new File (setupFolderName); setupFolder.mkdirs(); в моем классе mapper для записи...
2 месяца, 2 недели назад Shrish Bajpai
61
голос
2
ответа
Я запускаю работу mapreduce в виртуальном боксе HortonWorks. В методе Map() я использую System.out.println("xx") но я не могу найти печатные слова. От того, как печатать на консоли во время выполне...
2 месяца, 2 недели назад Frankie
62
голоса
3
ответа
Я работаю над Hive и Solr Cloud. Я должен индексировать данные из улья в solr cloud, и я попробовал следующие ссылки: мне не повезло http://github.org/chimpler/hive-solr и https://github.com/vroyer...
2 месяца, 2 недели назад Shiva Prasad G
87
голосов
2
ответа
Мы каждый день получаем новые файлы из приложений в виде csv, которые хранятся на сервере Windows, скажем, c: /program files (x86)/webapps/apachetomcat/.csv, каждый файл имеет разные данные в нем, ...
2 месяца, 2 недели назад Deno George
62
голоса
2
ответа
Я нашел похожие вопросы, но ни один из них не ответил на мой вопрос: где хранить учетные данные при перемещении файлов между Hadoop и S3 с помощью distop или s3-dist-cp? Я создал новый Amazon EMR-к...
2 месяца, 2 недели назад NaN
75
голосов
1
ответ
У меня есть этот скрипт. log_file_name=dataProcessor export pwd='pwd' echo "in data processing" log_file_path=LOGS/data-processor/ logfile=$log_file_path$log_file_name.log log_file_home_path=LOGS e...
2 месяца, 2 недели назад Stifler
97
голосов
2
ответа
Я читаю много XML файлов в java и конвертирую их в JSON и записываю их обратно в файловую систему. Общий размер папки XML составляет около 100 ГБ, а размер одного файла XML может составлять около 1...
2 месяца, 2 недели назад bigData
63
голоса
1
ответ
Я хочу контролировать количество записей, обрабатываемых каждым преобразователем. В моем кластере некоторые узлы данных имеют больше записей. Таким образом, создатели, созданные на этих узлах, обра...
2 месяца, 2 недели назад Rajagopal
122
голоса
2
ответа
Сценарий выглядит примерно так: У меня есть метрическая value.open или value.close, у которых есть записи для разных символов (тегов), таких как A, B, C..... такие 3000+ Символы. Я хочу получить по...
2 месяца, 2 недели назад ankit arora
130
голосов
1
ответ
Ниже представлен выбранный запрос из таблицы HIVE: select * from test_aviation limit 5; OK 2015 1 1 1 4 2015-01-01 AA 19805 AA N787AA 1 JFK New York NY NY 36 New York 22 LAX Los Angeles CA CA 06 Ca...
2 месяца, 2 недели назад dipayan
75
голосов
2
ответа
Я пытаюсь создать запрос куста, который будет принимать несколько числовых имен столбцов и проверить, имеет ли он числовые значения. Если столбец имеет числовые значения, то вывод должен быть (имя ...
2 месяца, 2 недели назад divyanair
-4
голоса
1
ответ
Многие учебные пособия по Hadoop MapReduce начинаются с примера Word Count. Тем не менее, я помню из своего класса распределенных вычислений (который был до рождения Hadoop), что вычисления распред...
2 месяца, 2 недели назад AlwaysLearning
75
голосов
1
ответ
Я использую рабочие процессы Oozie для импорта многих таблиц с разных серверов oracle. В настоящее время я разработал рабочий процесс для каждой из этих таблиц, которые я хочу сделать sqoop в Hadoo...
2 месяца, 2 недели назад user3021703
106
голосов
2
ответа
Я использую Hadoop на Windows Server 2008 - дистрибутив Hortonworks. Мы используем PIG и пытаемся записать данные в MongoDB; Я не могу читать или писать в MongoDB; не знаю, в чем проблема, мы получ...
2 месяца, 2 недели назад DWGuru
132
голоса
1
ответ
Я пытался запустить hadoop 2.2.0 на моем компьютере в режиме псевдораспределения. к сожалению, я не смог найти какой-либо документ о том, как настроить псевдораспределительный режим на hadoop 2.2.0...
2 месяца, 2 недели назад flexwang
63
голоса
1
ответ
Я использую версию Apache Oozie 4.3.0 , а также Hadoop 2.7.3 Я разработал очень простой рабочий процесс Oozie, который просто имеет действие sqoop для экспорта системных событий в таблицу MySQL. &l...
2 месяца, 2 недели назад Sergio Sánchez Sánchez
63
голоса
1
ответ
Я создаю временную таблицу из другой таблицы, используя предложение AS , где я включаю столбец раздела другой таблицы, также является частью таблицы temp, а затем я получаю следующую ошибку. Ниже п...
2 месяца, 2 недели назад Vimarsh Thusu
63
голоса
1
ответ
Я новичок в hadoop, и я попробовал свой пример в составе hadoop 2.6.0 для начала. Во-первых, я перекомпилировал исходный код hadoop-mapreduce-examples-2.6.0.jar и построил новый файл jar MapReduce-...
2 месяца, 2 недели назад jjin
61
голос
2
ответа
Я собрал последнюю весну-xd, поскольку мне нужна поддержка CDH. Я могу запустить сервер, однако, когда я подключаюсь к серверу через xd-shell, я пытаюсь изменить "конфигурацию". Также это кластериз...
2 месяца, 2 недели назад user2860259
96
голосов
1
ответ
Я использую Ambari и Hue для управления моим кластером hadoop в течение нескольких недель, но я не нашел никакой опции /command/code/tool для создания локальных пользователей как из оболочки (ни в ...
2 месяца, 2 недели назад Roberto Arias
75
голосов
1
ответ
В моем rdd есть два строковых элемента: "53 45 61", "0 1 2". Я хотел бы сделать zip и сопоставить его вместе как пару значений ключа, добавив префикс "C" к каждому из ключей ожидаемый результат: C5...
2 месяца, 2 недели назад unchained
62
голоса
1
ответ
Моя установка Hadoop работала нормально, пока я не попытался изменить номера портов. Теперь, когда я запускаю любую программу hadoop, я получаю: java.net.BindException: Problem binding to localhost...
2 месяца, 2 недели назад Waleed Lotfy
87
голосов
1
ответ
Я черпаю два набора данных из двух источников diff в Улей. Я создал объединение двух таблиц в улье, используя create table db.table as select table 1 union select table 2 Я использовал эту таблицу ...
2 месяца, 2 недели назад Shweta Kamble
62
голоса
1
ответ
У меня есть этот короткий код, который считывает байты из текстового файла в файловой системе Hadoop (HDFS) с использованием libhdfs . Он компилируется и работает отлично. Теперь я пытаюсь изменить...
2 месяца, 2 недели назад L.S
106
голосов
1
ответ
Пожалуйста, найдите мой стол "Описание", "Серд" и "Формат журнала". create table temp.rawserversidedata ( ip varchar(65000), dt varchar(65000), apiname varchar(65000), appname varchar(65000), conte...
2 месяца, 2 недели назад Kshitiz Saxena
61
голос
2
ответа
Как я могу получить список всех папок с помощью сценария оболочки, каталог присутствует в HDFS. Вот что я пробовал: #!/bin/ksh echo " loading folders..." count=0 for folder in 'hdfs dfs -ls -d /use...
2 месяца, 2 недели назад bigData
-4
голоса
1
ответ
Я хочу, чтобы иметь возможность искать шаблон строки во всех папках и файлах в определенном каталоге в HDFS. не уверен, как это сделать. ниже не работает. hadoop fs -ls -R /folder_path/ |grep -i "p...
2 месяца, 2 недели назад oortcloud_domicile
86
голосов
3
ответа
Я запускаю скрипт для свиней в файле размером около 1,22 ГБ. Размер блока по умолчанию составляет 64 МБ. У меня есть 4 узла данных. Сценарий свиньи в качестве вывода выводит 19 файлов. Когда я запу...
2 месяца, 2 недели назад Uno
-4
голоса
1
ответ
Если входной файл: 1,1,2,2,3,4,4,4,5,5,5,5,6,6,6 , то выход MapReduce должен быть 6 (т. 1,1,2,2,3,4,4,4,5,5,5,5,6,6,6 Размер множество уникальных целых чисел {1,2,3,4,5,6} ). Мне нужна помощь в реа...
2 месяца, 2 недели назад Daksh
76
голосов
1
ответ
Привет, у меня такой большой набор данных, как этот cp1 -> List(P1,P2,P3) cp2 -> List(P4,P5,P6) cp3 -> List(P7,P8,P9) cp4 -> List(P10,P11,P12) cp5 -> List(P13,P14,P15) Я хотел бы нап...
2 месяца, 2 недели назад user4785146
62
голоса
1
ответ
как вы можете перехватить то, что запрашивается в hbase? Я видел, что вы можете перехватывать preGetOp и preScannerOpen но я не могу понять, какие preGetOp preScannerOpen column families и column q...
2 месяца, 2 недели назад Alex
106
голосов
1
ответ
Используя автоматическое обновление в ambari для обновления HortonWorks Data Platform с 2.2 до 2.3, при попытке обновления я получаю: "YARN Сохранение состояния временной шкалы должно быть разрешен...
2 месяца, 2 недели назад Chris B-C
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема