Вывод производительности системы STF

91
11

Я следую этому FAQ https://nlp.stanford.edu/software/crf-faq.shtml для обучения моего собственного классификатора, и я заметил, что результат оценки производительности не соответствует результатам (или, по крайней мере, не так, как я ожидать). В частности, этот раздел

CRFClassifier tagged 16119 words in 1 documents at 13824.19 words per second. Entity PR F1 TP FP FN MYLABEL 1.0000 0.9961 0.9980 255 0 1 Totals 1.0000 0.9961 0.9980 255 0 1

Я ожидаю, что TP будет всех экземпляров, где предсказанная метка соответствовала золотой метке, FP - это все случаи, когда MYLABEL был предсказан, но золотой меткой был O, FN чтобы быть всеми экземплярами, где O был предсказан, но золотой был MYLABEL.

Если я сам рассчитываю эти числа из вывода программы, я получаю совершенно разные числа, не имеющие отношения к тому, что печатает программа. Я пробовал это с помощью различных тестовых файлов. Я использую Stanford NER - v3.7.0 - 2016-10-31

Я что-то пропустил?

спросил(а) 2017-10-25T22:03:00+03:00 3 года назад
1
Решение
58

Значения F1 - это объекты, не являющиеся ярлыками.

Пример:

(Joe, PERSON) (Smith, PERSON) (went, O) (to, O) (Hawaii, LOCATION) (., O).

В этом примере есть два возможных объекта:

Joe Smith   PERSON
Hawaii LOCATION

Объекты создаются, беря все соседние маркеры с одной и той же меткой. (Если вы не используете более сложную схему маркировки BIO, схемы BIO имеют теги, такие как I-PERSON и B-PERSON, чтобы указать, является ли токен началом объекта и т.д.).

ответил(а) 2017-10-26T08:27:00+03:00 3 года назад
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема