LEX ist ein Programm, das einen Scanner / Tokenizer erzeugt. Du definierst, was die Sprachelemente sind, also Schlüsselwörter, Identifier, Zahlen, terminale Symbole (alle Zeichen, die NICHT Bestandteil eines Wortes sind) usw. Und LEX erzeugt eine Delphi-
Unit, das einen Input-Stream in die einzelnen Wörter der Sprache aufteilt und hintereinander die Wörter liefert.
Das dient dann als Input für einen Parser. Der Tokenizer würde z.B. 'begin foobar; end.' in folgende Sequenz übersetzen (1 2 3 4 5). Vorher hast Du ihm gesagt, das das reservierte Schlüsselwort 'begin' den Wert '1' bekommt, ein Identifier den Wert '2', ein Semikolon den Wert '3', das Wort 'end' den Wert '4' und der Punkt den Wert '5'.
Der Input 'begin foobar; blafasel; Begin end; End.' wäre dann '1 2 3 2 3 1 4 3 4 5'.
Anmerkung: LEX erzeugt ursprünglich natürlich C-Code, weil es für UNIX geschrieben wurde. Aber mittlerweile gibt es auch eine gute Implementierung für Delphi. Such mal danach.
Alternativ kannst Du natürlich auch einen 'Frickelparser' basteln, der eventuell doch schneller als ein DEA ist (wenn die Sprache nur wenig reservierte Schlüsselwärter besitzt).