Multiprocessing – вопросы и ответы

102
голоса
3
ответа
У меня есть настройка python multiprocessing (т.е. рабочие процессы) с пользовательской обработкой сигналов, что не позволяет работнику чисто использовать multiprocessing . (См. Подробное описание ...
8 месяцев, 3 недели назад jbndlr
102
голоса
1
ответ
Его можно разделить на две части: один поток используется для создания реального времени каждые пять минут, и как только он будет иметь новые данные, данные будут отправляться в подключенные сокеты...
8 месяцев, 3 недели назад ryu
151
голос
2
ответа
В моем проекте я использую библиотеку Python multiprocessing для создания нескольких процессов в __main__. Проект упаковывается в один Windows EXE с использованием PyInstaller 2.1.1. Я создаю новые...
8 месяцев, 3 недели назад nikola
92
голоса
3
ответа
Я запускаю скрипт резервного копирования, который запускает дочерние процессы для выполнения резервного копирования с помощью rsync. Однако у меня нет возможности ограничить количество rsyncs, кото...
8 месяцев, 3 недели назад MVanOrder
65
голосов
1
ответ
У меня есть проточная схема: один процесс обработки данных - The_process несколько процессов создания данных - рабочие мне нужно сделать это, чтобы открыть список foo_list, содержащий два других бо...
8 месяцев, 3 недели назад Jendas
80
голосов
1
ответ
Я запускаю следующий код на 64-битном Xubuntu 14.04 LTS и Python 2.7.6 import numpy import multiprocessing def f(i): result = numpy.zeros((224, 244, 3), dtype='float32') return result if __name__ =...
8 месяцев, 3 недели назад tinnulion
65
голосов
1
ответ
Я работаю над инструментом, который открывает некоторые экземпляры Mozilla Firefox, используя Selenium Webdriver. Есть три экземпляра, которые загружают одну и ту же страницу за одно и то же время....
8 месяцев, 3 недели назад Dan
79
голосов
3
ответа
У меня есть инструмент python, который имеет в основном такую настройку: main process (P1) -> spawns a process (P2) that starts a tcp connection -> spawns a thread (T1) that starts a loop to ...
8 месяцев, 3 недели назад basilikum
102
голоса
1
ответ
В приведенном ниже примере я использую Foobar_Collection для управления словарем экземпляров Foo . Дополнительно, Foobar_Collection содержит метод, который будет последовательно вызывать myMethod()...
8 месяцев, 3 недели назад Tim
-5
голосов
2
ответа
Поэтому я написал функцию, которая собирает список файлов в каталоге. Они разрезаются на размеры 4 и подаются в многопроцессорный пул с использованием цикла for. Ниже приведен код для clairity. def...
8 месяцев, 3 недели назад mastersom
80
голосов
1
ответ
У меня есть приложение, в котором у меня есть 2 RabbitMQ consumer ( RabbitMQ consumer RabbitMQ producer ), которые постоянно работают (большую часть времени они простаивают). Но и мне нужно, чтобы ...
8 месяцев, 3 недели назад Vor
-9
голосов
1
ответ
Скажите, что оба процесса A и B обновляют файл. Процесс может быть фоновым сервисом, активным действием и может быть из разных приложений. Я хочу знать, как Android поддерживает такой сценарий? бла...
8 месяцев, 3 недели назад SaintTail
79
голосов
2
ответа
Вот упрощенная версия кода, с которым я работаю: у меня есть класс python с методом экземпляра, который принимает список строк и вычисляет результат для каждой строки, в итоге комбинируя результаты...
8 месяцев, 3 недели назад Tom Swift
80
голосов
1
ответ
У меня очень большой файл, который загружается в моем основном процессе. моя цель состоит в том, чтобы одновременно обрабатывать несколько процессов из памяти, чтобы избежать ограничений памяти и с...
8 месяцев, 3 недели назад moshevi
91
голос
1
ответ
У меня проблема с Python и передача серийного объекта в качестве параметра отдельного процесса. Программа запускается в Windows 8, поэтому использование глобальных переменных не является вариантом....
8 месяцев, 3 недели назад codingCat
128
голосов
1
ответ
На терминале python я запускаю некоторую команду, как показано ниже, для создания продолжительного дочернего процесса: from multiprocessing.process import Process Process(target=LONG_RUNNING_FUNCTI...
8 месяцев, 3 недели назад Zags
103
голоса
1
ответ
Я выполнял сценарий python octo.py, чтобы делать подсчет слов/автора в серии файлов. Сценарий работает хорошо - я попробовал его на ограниченном наборе данных и получаю правильные результаты. Но ко...
8 месяцев, 3 недели назад lynvie
79
голосов
1
ответ
Я пытаюсь распределить задания по нескольким устройствам CUDA, где общее количество рабочих заданий в любое время должно быть меньше или равно количеству доступных ядер процессора. Для этого я опре...
8 месяцев, 3 недели назад jlerche
80
голосов
1
ответ
У меня есть приложение, которое создает один процесс многопроцессорности для связи и n для рабочих. Мне нужно найти способ выхода из всего приложения, когда где-то есть ошибка, или пользователь наж...
8 месяцев, 3 недели назад Davoud Taghawi-Nejad
102
голоса
2
ответа
Я просто хочу быть уверенным, что это не касается моего кода, но его нужно исправлять в соответствующем пакете Python. (Кстати, это похоже на то, что я могу заплатить вручную даже до того, как пост...
8 месяцев, 3 недели назад László
79
голосов
2
ответа
Я хотел бы реализовать в python что-то вроде этого: def producer(): while True: sys.stdout.write("this is my data\n") def consumer(): while True: data = sys.stdin.read() print data producer | consu...
8 месяцев, 3 недели назад dangonfast
91
голос
1
ответ
У меня есть сложный сигнал массива numpy с размерами [10,1000,50000] Мне нужно изменить этот массив на срезах. Это делается в цикле for: for k in range(signal.shape[2]): signal[:,:,k] = myfunction(...
8 месяцев, 3 недели назад torpedo
-5
голосов
1
ответ
Я хочу сделать синхронизированное моделирование раскраски графа. Чтобы создать график (дерево), я использую пакет igraph и синхронизацию, которую я использую для пакета multiprocessing в первый раз...
8 месяцев, 3 недели назад Ziva
120
голосов
1
ответ
Я делаю программу, которая читает несколько файлов и записывает сводку каждого файла в выходной файл. Размер выходного файла довольно большой, поэтому сохранить его в памяти - это не очень хорошая ...
8 месяцев, 3 недели назад Hernan
103
голоса
1
ответ
У меня действительно простое использование QProcess: void MainWindow::startPing() { auto p = new QProcess(this); connect(p, &QProcess::readyReadStandardOutput, this, &MainWindow::procStdout...
8 месяцев, 3 недели назад mappu
164
голоса
1
ответ
В Python при использовании многопроцессорного модуля есть 2 вида очередей: Queue JoinableQueue. В чем разница между ними? Queue from multiprocessing import Queue q = Queue() q.put(item) # Put an it...
8 месяцев, 3 недели назад axcelenator
65
голосов
1
ответ
Я пытаюсь запустить bottle.py как процесс внутри скрипта, но я расстроен, потому что он не работает, как я ожидал. Вот гипотетическое/сокращенное представление моего сценария. Я попытался добавить ...
8 месяцев, 3 недели назад koray
121
голос
1
ответ
Я хотел бы cythonize python-модуль со следующим классом: class C: def __init__(self, x): self.x = x @staticmethod def f(k): return k def g(self, k): return self.x, k После установки cythonized моду...
8 месяцев, 3 недели назад Vera Ilina
102
голоса
1
ответ
Я пытаюсь реализовать сервер в python3.3, у которого есть отдельный поток, предварительно загруженный для выполнения всей обработки входящих соединений. from multiprocessing import Process, Pipe, Q...
8 месяцев, 3 недели назад Älhoo
80
голосов
2
ответа
У меня есть очень большой файл (содержащий идентификатор dbSNP), содержащий 1 миллион строк, каждая из которых содержит одну строку, и еще один большой файл (.vcf), содержащий 600 миллионов строк, ...
8 месяцев, 3 недели назад Abhiroop
65
голосов
2
ответа
Я создал многопроцессорный взломщик паролей (используя список слов) для определенной функции, он сократил вдвое время, необходимое для использования одного процесса. Первоначальная проблема заключа...
8 месяцев, 3 недели назад Andy
66
голосов
1
ответ
import multiprocessing from multiprocessing import Pool from source.RUN import* def func(r,grid,pos,h): return r,grid,pos,h p = multiprocessing.Pool() # Creates a pool with as many workers as you h...
8 месяцев, 3 недели назад dbr
122
голоса
1
ответ
У меня есть часть кода, хранящаяся в строке (пользователь редактирует это в текстовом поле в моем приложении). В этом коде есть функция, которую я хочу запустить позже, используя multiprocess.Pool ...
8 месяцев, 3 недели назад V.K.
65
голосов
1
ответ
Я прочитал много потоков на StackOverFlow, чтобы попытаться понять, почему моя многопроцессорность работает неправильно. Мне нужно получить IP-адреса из файла, обработать их, а затем записать их в ...
8 месяцев, 3 недели назад Tirvax
113
голосов
2
ответа
Если у меня есть многопроцессор с двумя процессорами, и у меня есть процесс, работающий на ЦП 1, а другой процесс на ЦП 2, между ними должна использоваться разделяемая память boost :: interprocess?...
8 месяцев, 3 недели назад jekelija
65
голосов
1
ответ
Я читаю отдельный вывод консоли процесса с помощью стандартного кода: ProcessBuilder b = new ProcessBuilder(exeArgs); b.redirectErrorStream(true); Process process = b.start(); try (BufferedReader i...
8 месяцев, 3 недели назад Ivan Nikitin
-8
голосов
1
ответ
Использует ли функция clone() многопроцессорную систему? Я имею в виду, если я создаю много потоков внутри основного процесса, используя функцию clone(), будут ли эти созданные потоки выполняться н...
8 месяцев, 3 недели назад user3242743
178
голосов
3
ответа
Я пишу серверную программу с одним производителем и несколькими потребителями, меня смущает только первая задача, поставленная в очередь потребляемых, после чего задачи, оставшиеся в очереди, больш...
8 месяцев, 3 недели назад btw0
79
голосов
1
ответ
При совместном использовании rawarray между различными процессами с помощью multiprocessing , является ли проблема, чтобы все дети записывали/изменяли raw array ? Нужно ли обрабатывать блокировки и...
8 месяцев, 3 недели назад user3262424
91
голос
3
ответа
Что наиболее эффективно для обмена данными между несколькими ядрами. Конечно, вы можете использовать общую память, но это также связано с затратами. Скажем, одно ядро ​​непрерывно записывается в пе...
8 месяцев, 3 недели назад pythonic
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема