Лексический анализатор (ЛА) выделяет в поданной последовательности символов простейшие конструкции языка – лексические единицы. Затем лексические единицы заменяются их внутренним представлением – лексемами, которые включают в себя вспомогательную информацию о лексеме (класс и значение). Происходит построение таблицы массива лексем. Для работоспособности управляющих конструкций языка лексический анализатора проводит простановку ссылок на соответствующие лексемы. Для таких классов лексических единиц, как идентификаторы и константы строятся отдельные таблицы.