Diese internal Tokens sind hier nur aufgelistet, um die inneren Arbeitsschritte des Lexers zu verdeutlichen...

Token-WertToken NameToken Regex
Token-Wert
1
Token Name
T_ID
Token Regex
[a-zA-Z_][a-zA-Z_0-9]*
Token-Wert
2
Token Name
T_INTVALUE
Token Regex
\-?(0|[1-9][0-9]*)
Token-Wert
2
Token Name
T_INTVALUE
Token Regex
0x[a-fA-F0-9]*)
Token-Wert
3
Token Name
T_FLOATVALUE
Token Regex
\-?(0|[1-9][0-9]*)\.[0-9]+([eE][\+\-]?[0-9]+)?[fFdD]?
Token-Wert
4
Token Name
T_STRINGVALUE
Token Regex
'([^'\\]|\\(['"\\/bfnrt]|u[0-9a-fA-F]{4}))*'
Token-Wert
4
Token Name
T_STRINGVALUE
Token Regex
"([^"\\]|\\(['"\\/bfnrt]|u[0-9a-fA-F]{4}))*"
Token-Wert
5
Token Name
T_AOPEN
Token Regex
{
Token-Wert
6
Token Name
T_ACLOSE
Token Regex
}
Token-Wert
7
Token Name
T_SQBROPEN
Token Regex
[
Token-Wert
8
Token Name
T_SQBRCLOSE
Token Regex
]
Token-Wert
9
Token Name
T_DOT2
Token Regex
..
Token-Wert
10
Token Name
T_DOT
Token Regex
.
Token-Wert
11
Token Name
T_COMMA
Token Regex
,
Token-Wert
12
Token Name
T_PLUSASSIGN
Token Regex
+=
Token-Wert
13
Token Name
T_PLUS
Token Regex
+
Token-Wert
14
Token Name
T_MINUSASSIGN
Token Regex
-=
Token-Wert
15
Token Name
T_MINUS
Token Regex
-
Token-Wert
16
Token Name
T_MULASSIGN
Token Regex
*=
Token-Wert
17
Token Name
T_MUL
Token Regex
*
Token-Wert
18
Token Name
T_DIVASSIGN
Token Regex
/=
Token-Wert
19
Token Name
T_DIV
Token Regex
/
Token-Wert
20
Token Name
T_MODASSIGN
Token Regex
%=
Token-Wert
21
Token Name
T_MOD
Token Regex
%
Token-Wert
22
Token Name
T_ORASSIGN
Token Regex
|=
Token-Wert
23
Token Name
T_OR
Token Regex
|
Token-Wert
40
Token Name
T_OR2
Token Regex
||
Token-Wert
24
Token Name
T_ANDASSIGN
Token Regex
&=
Token-Wert
41
Token Name
T_AND2
Token Regex
&&
Token-Wert
25
Token Name
T_AND
Token Regex
&
Token-Wert
26
Token Name
T_XORASSIGN
Token Regex
^=
Token-Wert
27
Token Name
T_XOR
Token Regex
^
Token-Wert
28
Token Name
T_QUEST
Token Regex
?
Token-Wert
29
Token Name
T_COLON
Token Regex
:
Token-Wert
30
Token Name
T_BROPEN
Token Regex
(
Token-Wert
31
Token Name
T_BRCLOSE
Token Regex
)
Token-Wert
45
Token Name
T_TILDEASSIGN
Token Regex
~=
Token-Wert
32
Token Name
T_TILDE
Token Regex
~
Token-Wert
33
Token Name
T_SEMICOLON
Token Regex
;
Token-Wert
34
Token Name
T_LTEQ
Token Regex
<=
Token-Wert
35
Token Name
T_LT
Token Regex
<
Token-Wert
36
Token Name
T_GTEQ
Token Regex
>=
Token-Wert
37
Token Name
T_GT
Token Regex
>
Token-Wert
38
Token Name
T_EQ
Token Regex
==
Token-Wert
39
Token Name
T_ASSIGN
Token Regex
=
Token-Wert
42
Token Name
T_NOTEQ
Token Regex
!=
Token-Wert
43
Token Name
T_NOT
Token Regex
!
Token-Wert
44
Token Name
T_DOLLAR
Token Regex
$
Token-Wert
99
Token Name
T_ANY
Token Regex
any
Token-Wert
100
Token Name
T_BOOL
Token Regex
bool
Token-Wert
101
Token Name
T_BYTE
Token Regex
byte
Token-Wert
102
Token Name
T_SHORT
Token Regex
short
Token-Wert
103
Token Name
T_INT
Token Regex
int
Token-Wert
104
Token Name
T_LONG
Token Regex
long
Token-Wert
105
Token Name
T_FLOAT
Token Regex
float
Token-Wert
106
Token Name
T_DOUBLE
Token Regex
double
Token-Wert
107
Token Name
T_STRING
Token Regex
string
Token-Wert
108
Token Name
T_FUNCTION
Token Regex
function
Token-Wert
109
Token Name
T_IN
Token Regex
in
Token-Wert
109
Token Name
T_IN
Token Regex
has
Token-Wert
110
Token Name
T_VOID
Token Regex
void
Token-Wert
120
Token Name
T_AS
Token Regex
as
Token-Wert
121
Token Name
T_VERSION
Token Regex
version
Token-Wert
122
Token Name
T_IF
Token Regex
if
Token-Wert
123
Token Name
T_ELSE
Token Regex
else
Token-Wert
124
Token Name
T_FOR
Token Regex
for
Token-Wert
125
Token Name
T_RETURN
Token Regex
return
Token-Wert
126
Token Name
T_VAR
Token Regex
var
Token-Wert
127
Token Name
T_VAL
Token Regex
val
Token-Wert
127
Token Name
T_WHILE
Token Regex
while
Token-Wert
127
Token Name
T_BREAK
Token Regex
break
Token-Wert
140
Token Name
T_NULL
Token Regex
null
Token-Wert
141
Token Name
T_TRUE
Token Regex
true
Token-Wert
142
Token Name
T_FALSE
Token Regex
false
Token-Wert
160
Token Name
T_IMPORT
Token Regex
import
Token-Wert
666
Token Name
T_GLOBAL
Token Regex
global
Token-Wert
667
Token Name
T_STATIC
Token Regex
static
Token-Wert
668
Token Name
T_INSTANCEOF
Token Regex
instanceof
Token-Wert
123456789
Token Name
T_ZEN_CLASS
Token Regex
zenClass
Token-Wert
123456789
Token Name
T_ZEN_CLASS
Token Regex
frigginClass
Token-Wert
987654321
Token Name
T_ZEN_CONSTRUCTOR
Token Regex
zenConstructor
Token-Wert
987654321
Token Name
T_ZEN_CONSTRUCTOR
Token Regex
frigginConstructor