Использование градиентного подъема для сегментации изображения

88
5

Я работаю с сегментацией изображений, используя карты целевых значений с помощью градиентного восхождения. Вот изображение процесса: http://imgur.com/a/h8vBZ

У меня есть обученная модель, которая может точно предсказать мои занятия. Затем эта модель используется для вычисления градиента входного изображения с потерей градиентного восхождения. Для меня созданный здесь градиент представляет собой представление о том, на что ориентируется модель в предсказании.

Я запускаю фильтр квантилей, чтобы выбрать значения градиента (пиксели), которые наиболее связаны с классом, а затем выпустить из него двоичную маску. Это хорошо работает, но обнаруживает, что карта может быть более точной и более плотной вокруг класса внутри изображения. Я читал об условных случайных полях как о механизме для получения более точных и гладких результатов сегментации и пытаюсь реализовать это, но чувствую, что у меня нет полного понимания градиента, созданного здесь.

Мой вопрос: что именно представляет собой градиент в этом случае? Я предполагаю, что эти значения представляют собой, по существу, прогнозы уровня пикселей/метки пикселей. Является ли это эквивалентом унарных потенциалов?

спросил(а) 2021-01-25T08:17:28+03:00 4 месяца, 4 недели назад
1
Решение
117

У меня есть два предложения, основанные на ваших примерах изображений. Различие между ярлыками пикселей и потенциалами очень хорошо описано здесь в этом уроке: Демо-поезд

Фильтр квантилей переполняет объект. Я подозреваю, что вы нормализуете значения изображения до диапазона [0..255] и используете этот "эффект волн" вместо объекта интереса. Если вы сначала масштабируете значения изображения на один коэффициент меньше одного (например, 0,5 или 0,1), чем вы могли бы нормализовать их в диапазоне [0..255] правильно и используя пороговое значение, извлечение более точной области класса. Вы можете попробовать расширенные парные потенциалы для вашего CRF. Например, контрастно-чувствительные потенциалы или даже конкатенированные краевые потенциалы. Они могут помочь уточнить объект класса более точно. Кроме того, стоит попытаться добавить дополнительные функции для обучения унарным потенциалам. HOG или Sparse Coding могут помочь.

ответил(а) 2021-01-25T08:17:28+03:00 4 месяца, 4 недели назад
45

Существует комплексный метод обучения, объединяющий нейронную сеть с CRF, которая делает именно то, что вы хотите. Бумага такова: https://arxiv.org/pdf/1611.10229.pdf.

ответил(а) 2021-01-25T08:17:28+03:00 4 месяца, 4 недели назад
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема