Moin,
Habe ich zumindest das Prinzip des Token-Parsers richtig verstanden?
Hier mal wie ich mir das vorstelle, anhand eines Beispiels:
Code:
Test 1, 2
[b]Hallo[/b] ich heiße Tokenizer.
[u]Meine Aufgabe ist es [i]Tokens[/i] zu erstellen.[/u]
Das war's schon wieder.
wird dann verarbeitet zu folgender Tokenlist:
Code:
Lexer-Begin
"Test 1, 2": String
[b]: Identifier [Begin]
"Hallo": String
[/b]: Identifier [End]
" ich heiße Tokenizer.": String
[u]: Identifier [Begin]
"Meine Aufgabe ist es ": String
[i]: Identifier [Begin]
"Tokens": String
[/i]: Identifier [End]
"zu erstellen.": String
[/u]: Identifier [End]
"Das war's schon wieder.": String
Lexer-End
Habe ich zumindest das Prinzip dieses (zugegebenermaßen kleinen) Abschnitts von Parsern verstanden?
Gruß,
Max