Статья На Хабре Про Работу Tokenizer В PHP

Пока изучал возможности языка - познакомился с одним встроенным инструментом - tokenizer. В статье пытаюсь раскрыть что это такое, и где может быть применимо.