Gradient-Descent – вопросы и ответы

64
голоса
1
ответ
Скажем, у II есть простой И нейрон, использующий SGD: data = np.array([ (0, 0), (0, 1), (1, 0), (1, 1), ]) labels = np.array([ [0], [0], [0], [1], ]) x = tf.placeholder(tf.float32, shape=[None, 2])...
5 дней, 22 часа назад Viktor Ershov
88
голосов
2
ответа
Я использую метод наискорейшего спуска , чтобы выяснить решение линейной системы с матрицей Гильберта 5x5. Я считаю, что код хорош в том смысле, что он дает мне правильный ответ. Моя проблема в том...
5 дней, 23 часа назад DudeWah
92
голоса
1
ответ
Я адаптирую код для обучения нейронной сети, которая делает онлайн-обучение для работы в мини-партиях. Является ли мини-пакетный градиент для веса (de/dw) просто суммой градиентов для образцов в ми...
6 дней, 2 часа назад necromancer
99
голосов
1
ответ
Я пытаюсь решить нелинейную, негладкую оптимизацию в excel. И GRG, и эволюционные алгоритмы не могут дать разумные результаты (они не сходятся в определенных случаях). Количество ограничений находи...
1 неделя назад Alvi John
116
голосов
1
ответ
Я впервые пытался обучить набор данных, содержащий 8 переменных, во временном ряду или около того, используя GRN RNN. Значение биомассы - это то, что я пытаюсь предсказать на основе других переменн...
1 неделя, 1 день назад Orangeblue
51
голос
1
ответ
Я пытаюсь написать очень простой LMS-пакетный градиентный спуск, но я считаю, что я делаю что-то неправильно с градиентом. Соотношение между порядком величины и начальными значениями theta очень си...
1 неделя, 1 день назад wizplum
88
голосов
2
ответа
Я хочу написать простой градиентный спуск для функции с 5 параметрами на C++. Теперь я наткнулся на проблему модели реализации: должен ли я пожертвовать скоростью для сгибания аргументов в vector/a...
1 неделя, 1 день назад Bait Hoven
63
голоса
1
ответ
let gradientDescent (X : Matrix<double>) (y :Vector<double>) (theta : Vector<double>) alpha (num_iters : int) = let J_history = Vector<double>.Build.Dense(num_iters) let m =...
1 неделя, 2 дня назад Luke Xu
71
голос
1
ответ
У меня вопрос об обновлении тета во время Стохастической ГД. У меня есть два способа обновить тета: 1) Используйте предыдущую тету, чтобы получить все гипотезы для всех образцов, а затем обновить т...
1 неделя, 2 дня назад Bingyu Wang
53
голоса
1
ответ
Я тренирую сверточную сеть с примерно 10 сверточными слоями и несколькими пулами. Учебный комплект составляет около 250 000 образцов (16 000 векторов длины). Около 50% в течение первой эпохи, ошибк...
1 неделя, 3 дня назад rodrigo-silveira
199
голосов
4
ответа
Почему мы должны явно обнулять градиенты в PyTorch? Почему нельзя loss.backward() градиенты при loss.backward() ? Какой сценарий выполняется, если оставить градиенты на графике и попросить пользова...
1 неделя, 4 дня назад Wasi Ahmad
64
голоса
1
ответ
Я пытаюсь внедрить нервную сеть с обратной связью в CUDA. До сих пор я использовал видеоролики Jeff Heaton YouTube в качестве руководства для вывода алгоритмов и их реализации. Я не понимаю одно: H...
1 неделя, 5 дней назад Ælex
63
голоса
2
ответа
У меня алгоритм сглаживания градиента кода в R, и теперь я пытаюсь "рисовать" путь векторов. У меня есть нарисованные точки в моем контурном сюжете, но это не правильно, потому что никто не знает, ...
1 неделя, 5 дней назад Carlos
88
голосов
1
ответ
Я внедряю модели вероятностной матрицы факторизации в anano и хотел бы использовать Adam gradient descent . Моя цель - иметь код, который является настолько незабитым, насколько это возможно, а это
1 неделя, 5 дней назад fstab
64
голоса
1
ответ
Я реализовал линейную регрессию и градиентный спуск с нуля, и это дает мне странные результаты, такие как отрицательные числа, которые действительно малы. Пример данных 609.0,241.0 629.0,222.0 620....
1 неделя, 6 дней назад Harowitz Black
81
голос
1
ответ
Похоже, что основной вопрос, но мне нужно использовать масштабирование функции (взять каждое значение функции, вычесть среднее значение, а затем делить на стандартное отклонение) в моей реализации ...
1 неделя, 6 дней назад Cartesian Theater
88
голосов
1
ответ
Я пытаюсь создать простую линейную модель с использованием Python без использования библиотек (кроме numpy ). Вот что у меня есть import numpy as np import pandas np.random.seed(1) alpha = 0.1 def ...
1 неделя, 6 дней назад Shamoon
94
голоса
1
ответ
Попытка сделать модель логистической регрессии работать с набором данных диафрагмы, но это не подходит. Что не так с кодом. Благодарю вас.. # Dependencies used: numpy, matpotlib.pyplot, csv # datas...
2 недели назад quantumbiker
101
голос
1
ответ
У меня возникли проблемы с использованием numpy для параллелизации этого цикла ниже (get_new_weights). С моей первой попыткой df_dm в update_weights, вес совершенно неправильный. С моей второй попы...
2 недели назад Nate
152
голоса
5
ответов
Я кодирую градиентный спуск в матлабе. Для двух функций я могу перейти на шаг обновления: temp0 = theta(1,1) - (alpha/m)*sum((X*theta-y).*X(:,1)); temp1 = theta(2,1) - (alpha/m)*sum((X*theta-y).*X(...
2 недели, 1 день назад bigTree
80
голосов
2
ответа
Я следил за фильмами Сираджа Раваля о логистической регрессии с использованием градиентного спуска: 1) Ссылка на более длинное видео: https://www.youtube.com/watch?v=XdM6ER7zTLk&t=2686s 2) Ссыл...
2 недели, 1 день назад chi
102
голоса
1
ответ
Я застрял на задании от курса Andrew Ng DL-NN. Код имеет утверждение, когда градиент матрицы потерь по w ( dw ) должен иметь одинаковую форму w ( .shape == ( 2, 1 ) ), но при вычислении dw я должен...
2 недели, 2 дня назад André Ferreira
88
голосов
1
ответ
Я новичок в машинном обучении. Я начал с линейной регрессии с градиентным спуском. У меня есть код python для этого, и я понимаю, как это сделать. Мой вопрос: алгоритм спуска градиента минимизирует...
2 недели, 2 дня назад lukassz
51
голос
1
ответ
Я хочу запустить градиентный спуск по кривой логарифмического спада, представленной: y = y0 - a * ln (b + x). Мой y0 для этого примера: 800 Я пытался сделать это, используя частные производные по о...
2 недели, 3 дня назад Scott Rothbarth
95
голосов
4
ответа
Чтобы задать свой вопрос, позвольте мне начать с примера: Предположим, что набор из 1000 массивов (ака, ряд векторов) имеет одинаковую длину. Каждый из них заполняется случайными числами между -1 и...
2 недели, 3 дня назад Brannon
52
голоса
1
ответ
Я пытаюсь реализовать алгоритм наименьшего спуска в языках программирования (C/C++/fortran). Например, минимизация f (x1, x2) = x1 ^ 3 + x2 ^ 3 - 2 * x1 * x2 Оценить начальную расчетную точку x0, с...
2 недели, 4 дня назад de23edced
93
голоса
1
ответ
Ниже приведен фрагмент кода, который делает GD шаг за шагом, но theta расходится. Что может быть неправильным? X = arange(100) Y = 50 + 4*X + uniform(-20, 20, X.shape) theta = array([0,0]) alpha = ...
2 недели, 5 дней назад ArekBulski
74
голоса
3
ответа
Мой solver.prototxt с использованием adam выглядит следующим образом. Нужно ли добавлять или удалять какие-либо условия? Похоже, что потеря не уменьшает net: "/home/softwares/caffe-master/examples/...
2 недели, 6 дней назад user27665
75
голосов
2
ответа
Я следую за курсом Andrew Ng Coursera по Machine Learning, и я попытался реализовать алгоритм спуска градиента в Python. У меня возникают проблемы с параметром y-intercept, потому что это не похоже...
2 недели, 6 дней назад floggio
63
голоса
1
ответ
У меня есть тренировочный набор с примерно 300 000 примерами и около 50-60 функциями, а также многоклассовый с 7 классами. У меня есть функция логистической регрессии, которая обнаруживает сходимос...
3 недели назад Sera_Vinicit
71
голос
1
ответ
Точность обучения снижается до 0,06 с 1 неожиданно после 26700 итераций. Код был получен из тензорного онлайн-документа, и я просто изменил размер фильтра от 5x5 до 3x3, итерации от 20000 до 100000...
3 недели, 2 дня назад lariven
62
голоса
1
ответ
Я должен реализовать стохастический градиентный спуск, используя библиотеку python numpy. Для этого мне даны следующие определения функций: def compute_stoch_gradient(y, tx, w): """Compute a stocha...
3 недели, 2 дня назад Rodrigo
76
голосов
2
ответа
Я пытаюсь реализовать стохастический градиентный спуск с двумя ограничениями, поэтому не могу использовать scikit-learn. К сожалению, я уже борюсь с обычным SGD без двух ограничений. Потеря (квадра...
3 недели, 2 дня назад TobSta
62
голоса
1
ответ
Я изучаю нейронные сети от Майкла Нильсена http://neuralnetworksanddeeplearning.com/chap1.html . В приведенном ниже разделе, чтобы обновить веса и предубеждения def update_mini_batch(self, mini_bat...
3 недели, 3 дня назад Shashanoid
113
голосов
2
ответа
На прошлой неделе я начал изучать машинное обучение. когда я хочу создать сценарий спуска градиента для оценки параметров модели, я столкнулся с проблемой: как выбрать подходящую скорость обучения ...
3 недели, 5 дней назад zhoufanking
-4
голоса
1
ответ
Может кто-нибудь объяснить этот код для меня? def gradientDescent(X, y, theta, alpha, iters): temp = np.matrix(np.zeros(theta.shape)) parameters = int(theta.ravel().shape[1]) cost = np.zeros(iters)...
3 недели, 5 дней назад BorkoP
-4
голоса
1
ответ
Я внедряю градиентный спуск в нейронной сети, и у меня возникают проблемы с пониманием того, почему нам нужно найти производную по всем тэтам и предубеждениям, поскольку, если мы выполняем градиент...
3 недели, 6 дней назад Volodymyr Bobyr
89
голосов
1
ответ
Я пытаюсь реализовать стохастический градиентный спуск в MATLAB, но я где-то ошибаюсь. Я думаю, что, возможно, способ проверки конвергенции неверен (я не был уверен, как обновить оценку с каждой ит...
3 недели, 6 дней назад poppy3345
88
голосов
2
ответа
Im пытается запрограммировать логическую регрессию со стохастическим нисходящим градиентом в R. Например, я последовал примеру Andrew Ng с именем: "ex2data1.txt". Дело в том, что алгоритм работает ...
3 недели, 6 дней назад user3488416
74
голоса
1
ответ
https://www.tensorflow.org/versions/r1.6/api_docs/python/tf/gradients В документации для tf.gradients(ys, xs) указано, что Создает символические производные суммы ys по x в xs Я смущен суммирующей ...
4 недели назад Mark
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема