Lexical-Analysis – вопросы и ответы

118
голосов
1
ответ
У меня есть одно регулярное выражение, которое используется в нескольких правилах. Могу ли я определить псевдоним для него, сохранить это определение регулярного выражения в одном месте и просто ис...
1 день назад Titov Denis
105
голосов
3
ответа
Я использую Flex и Bison для генератора парсера, но у меня проблемы со стартовыми состояниями в моем сканере. Я использую эксклюзивные правила для комментирования, но эта грамматика, похоже, не соо...
1 день, 16 часов назад Dan
60
голосов
2
ответа
Использует ли компилятор, если инструкции при принятии решения о том, что делать, если встречается определенное ключевое слово, и должен ли кто-то писать компилятор использовать их для большинства ...
1 день, 17 часов назад TheRenegade
83
голоса
1
ответ
В соответствии с manual YY_BUF_SIZE является 16K , и нам нужно переопределить его. Однако в руководстве не указано, как переопределить его, и я не могу найти для него какую-либо опцию командной стр...
1 день, 20 часов назад vine'th
60
голосов
5
ответов
У меня есть проект, где мне нужно сравнить документы с несколькими разделами со вторым документом, чтобы определить их сходство. Проблема в том, что я понятия не имею, как это сделать, какие сущест...
1 день, 20 часов назад John Ptacek
73
голоса
1
ответ
Какая лучшая практика для обработки сложных литералов у мошенника? Два примера из JavaScript (мой DSL имеет похожие случаи): Строки с \ escapes - должны быть не привязаны к фактическому значению. Л...
1 день, 21 час назад Nikita Nemkin
60
голосов
1
ответ
Я пишу front-end для разбора набора файлов txt , каждый файл содержит набор procedures , например, один файл txt выглядит так: Sub procedure1 ... End Sub Sub procedure2 ... End Sub ... syntax.ml со...
1 день, 21 час назад SoftTimur
-6
голосов
1
ответ
Я должен написать программу lex, которая имеет следующие правила: Идентификаторы: Строка алфавитно-цифровых (и _ ), начиная с алфавитного символа Литералы: целые числа и строки Комментарии: Начните...
2 дня назад reand
59
голосов
1
ответ
Я пытаюсь нарисовать FSM для поиска токенов, используя данный Microsyntax microsyntax // Uses .Net regular expression syntax. Identifier <|[a-zA-Z][\w_.]* IntegerValue <|\d+ // real values mu...
2 дня, 18 часов назад Sujal
74
голоса
1
ответ
Я использую ANTLR 4 для создания своего лексера, но я не могу создать лексический анализатор, который ловит разные типы лексических ошибок. Например: Если у меня есть непризнанный символ как ^ лекс...
2 дня, 20 часов назад Chadi Helwe
-6
голосов
1
ответ
Моя цель - реализовать очень простой лексический анализ языка C , например, когда вы читаете выражение ab = 3 , тогда оно будет анализироваться как: ID<ab> OP<=> LIT<8> (op will b...
3 дня, 20 часов назад ryu
84
голоса
2
ответа
Я разрабатываю систему, в которой ключевые слова извлекаются из обычного текста. Требования к ключевому слову: Между 1 - 45 буквами длиной Word должен существовать в базе данных WordNet Не должно б...
4 дня, 1 час назад Michael Rich
60
голосов
1
ответ
Я новичок в Lex и Yacc, и я пытаюсь создать синтаксический анализатор для простого языка, который позволяет использовать основные выражения арифметики и равенства. Хотя некоторые из них работают, я...
4 дня, 17 часов назад dtg
85
голосов
1
ответ
Я обрабатываю некоторые индонезийские тексты в приложении Java, и мне нужно их остановить. В настоящее время я использую индейский инсулиновый лейкоз. org.apache.lucene.analysis.id.IndonesianAnalyz...
4 дня, 23 часа назад Aditya Pareek
60
голосов
1
ответ
Собираясь просто и предоставить тонну информации ниже с данными, кодом и т.д., Чтобы наконец решить эту проблему. Поэтому первая часть будет просто объяснением. Объяснение - программа для автоматич...
5 дней, 23 часа назад Jibril
74
голоса
1
ответ
Скажем, у меня есть исходный код C со следующим содержимым: int i = 21 + 10; int blah(){ int i = 21; return i + 10; } main(){ int i; i += i + 10; } в конце этапа лексического анализа, каково будет ...
1 неделя назад NickFury
61
голос
1
ответ
Я пытаюсь написать лексер ANTLR4 для некоторого языка. У меня есть рабочий, но я не совсем доволен этим. keyword "my:little:uri" + /* my comment here */ ':it:is' // nasty comment + ":mehmeh"; // si...
1 неделя, 1 день назад predi
119
голосов
1
ответ
Я работаю над небольшим проектом Haskell, который должен иметь возможность использовать lex очень маленькое подмножество строго сформированного английского языка для токенов для семантического разб...
1 неделя, 1 день назад Doug Stephen
73
голоса
2
ответа
Где я могу найти исчерпывающий список стоп-слов? Тот, который у меня есть, довольно короткий и, по-видимому, неприменим к научным текстам. Я создаю лексические цепочки для извлечения ключевых тем и...
1 неделя, 1 день назад Klue
130
голосов
2
ответа
Одна машина, все прекрасно компилируется. На другой машине он жалуется на опцию -ly, когда я использую gcc для создания выходного файла. Если я удалю опцию -ly, то она сделает программу, но потом о...
1 неделя, 2 дня назад neuromancer
59
голосов
1
ответ
Я строю очень простой алгоритм ранжирования результатов, и одна вещь, которая мне нужен, - это способ определить, какие слова в общем случае важнее в данной фразе. Это не должно быть точным, просто...
1 неделя, 2 дня назад Justin Alexander
112
голосов
1
ответ
В чем разница между этими двумя строками кода? a = (b if (b = "test")) a = b if (b = "test") Первый работает отлично и задает как a и b для test , но второй вызывает ошибку: NameError: неопределенн...
1 неделя, 3 дня назад Devon Parsons
73
голоса
1
ответ
Синтаксис многих языков программирования требует, чтобы они были маркированы в соответствии с принципом "максимальный мунч" . То есть эти жетоны должны быть построены из максимально возможного коли...
1 неделя, 3 дня назад user200783
59
голосов
1
ответ
У меня вопрос о flex. В моих заметках в фрагменте примерного кода говорится следующее: [^ \t\n]+ printf("saw a word\n"); Я не понимаю, что означает этот код и как он соответствует слову. Похоже, чт...
1 неделя, 4 дня назад yrazlik
93
голоса
2
ответа
Выполнение действительно странной проблемы с использованием re.match() . Вот мой код: for rule in rules: # print (rule, ", ", item) if re.match(rule, item): tokenLine.append(self.ruleDictionary[rul...
1 неделя, 5 дней назад Andrew
73
голоса
2
ответа
Я работаю над разделением исходного файла на токены, в частности, для сканирования идентификаторов. Тем не менее, существует требование, чтобы идентификаторы были длиной до 30 символов. Когда идент...
1 неделя, 5 дней назад Hunter McMillen
61
голос
1
ответ
Я пытаюсь построить лексический анализатор с FLEX на окнах. Я всегда получаю ошибку: "неопределенная ссылка на" yylval " Я объявил yylval как extern тип, где все определения сделаны следующим образ...
1 неделя, 6 дней назад ofer gertz
74
голоса
3
ответа
В настоящее время я занимаюсь разработкой парсера для подмножества Java, и мне было интересно; Есть ли случаи, когда новые строки больше, чем разделители токенов? То есть, где их нельзя просто заме...
2 недели назад Skeen
60
голосов
1
ответ
Мне нужно выполнить лексический анализ запроса оракула и отделить запрос к различным частям (на основе предложений) в perl. Например, рассмотрим: Select deleteddate,deletedby from temptable where i...
2 недели назад psy
74
голоса
3
ответа
Я написал программу C для анализатора lex (небольшой код), который будет определять ключевые слова, идентификаторы и константы. Я беру строку (исходный код C как строку), а затем преобразовываю ее ...
2 недели, 1 день назад Manoj Kandala
73
голоса
1
ответ
Я работаю над обучением использованию lex и yacc. Это философский вопрос о лексинге и определении правил для lex. Скажем, что вы хотите создать компилятор для табличных данных в файле csv. В одном ...
2 недели, 1 день назад David
94
голоса
1
ответ
Какова маркерная категория эллипса ( ... ) на языке программирования C++ после токенизации? Кажется, я не могу найти ничего, определяя, является ли это разделителем, оператором и т.д....
2 недели, 1 день назад Morwenn
95
голосов
2
ответа
lex и yacc предполагается использовать вместе. Какие из них - сканер, а какой - парсер? Какой из них создает сканер и который создает парсер?
2 недели, 1 день назад neuromancer
123
голоса
1
ответ
Я хочу проанализировать файл в списке токенов. Каждый токен содержит, по меньшей мере, одну строку, но может содержать больше. Каждый токен соответствует регулярному выражению. Я хочу сообщить об о...
2 недели, 1 день назад Tim Landscheidt
126
голосов
2
ответа
Мне нужен java lib, который будет сравнивать два разных текста с некоторыми сходствами и скажите мне, связаны ли они или нет. Например, я бы сравнил один из этих a) "COMP 150.00 MG X 20.00 UN" b) "...
2 недели, 2 дня назад user1269388
73
голоса
2
ответа
Я пишу lex для определенного языка, где операции выполняются в префиксной нотации: (+ ab) --> (a + b) Целое число определяется следующим образом: целое число может иметь отрицательный знак (-), ...
2 недели, 3 дня назад ronakshah725
59
голосов
2
ответа
У меня есть это рабочее определение: IDENTIFIER [a-zA-Z][a-zA-Z0-9]* Я не хочу повторять [a-zA-Z] и [0-9], поэтому я сделал два новых определения DIGIT [0-9] VALID [a-zA-Z] Как я могу переписать пр...
2 недели, 4 дня назад Kknd
60
голосов
1
ответ
Я пытаюсь создать грамматику для определения логического литерала с помощью ANTLR4. Он может принимать форму "BOOL # TRUE" или просто "TRUE". если я определяю его как лексическое правило следующим ...
2 недели, 4 дня назад Wayne
126
голосов
1
ответ
Я написал программу lex (файл.l) для подсчета строк и количества символов ПРОГРАММА: %{ int charcount=0,linecount=0; %} %% .charcount++ \n linecount++,charcount++; %% main() { yylex(); printf("line...
2 недели, 6 дней назад shrivardhan
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема