Konzept - BBCode Parser

[Prototypjack]

Moin,

Habe ich zumindest das Prinzip des Token-Parsers richtig verstanden?

Hier mal wie ich mir das vorstelle, anhand eines Beispiels:

Code:

Test 1, 2
[b]Hallo[/b] ich heiße Tokenizer.
[u]Meine Aufgabe ist es [i]Tokens[/i] zu erstellen.[/u]
Das war's schon wieder.

wird dann verarbeitet zu folgender Tokenlist:

Code:

Lexer-Begin

"Test 1, 2": String
[b]: Identifier [Begin]
"Hallo": String
[/b]: Identifier [End]
" ich heiße Tokenizer.": String
[u]: Identifier [Begin]
"Meine Aufgabe ist es ": String
[i]: Identifier [Begin]
"Tokens": String
[/i]: Identifier [End]
"zu erstellen.": String
[/u]: Identifier [End]
"Das war's schon wieder.": String

Lexer-End

Habe ich zumindest das Prinzip dieses (zugegebenermaßen kleinen) Abschnitts von Parsern verstanden?

Gruß,
Max