vendor/symfony/expression-language/Lexer.php line 26

  1. <?php
  3. /*
  4.  * This file is part of the Symfony package.
  5.  *
  6.  * (c) Fabien Potencier <fabien@symfony.com>
  7.  *
  8.  * For the full copyright and license information, please view the LICENSE
  9.  * file that was distributed with this source code.
  10.  */
  12. namespace Symfony\Component\ExpressionLanguage;
  14. /**
  15.  * Lexes an expression.
  16.  *
  17.  * @author Fabien Potencier <fabien@symfony.com>
  18.  */
  19. class Lexer
  20. {
  21.     /**
  22.      * Tokenizes an expression.
  23.      *
  24.      * @throws SyntaxError
  25.      */
  26.     public function tokenize(string $expression): TokenStream
  27.     {
  28.         $expression = str_replace(["\r", "\n", "\t", "\v", "\f"], ' ', $expression);
  29.         $cursor = 0;
  30.         $tokens = [];
  31.         $brackets = [];
  32.         $end = \strlen($expression);
  34.         while ($cursor < $end) {
  35.             if (' ' == $expression[$cursor]) {
  36.                 ++$cursor;
  38.                 continue;
  39.             }
  41.             if (preg_match('/
  42.                 (?(DEFINE)(?P<LNUM>[0-9]+(_[0-9]+)*))
  43.                 (?:\.(?&LNUM)|(?&LNUM)(?:\.(?!\.)(?&LNUM)?)?)(?:[eE][+-]?(?&LNUM))?/Ax',
  44.                 $expression, $match, 0, $cursor)
  45.             ) {
  46.                 // numbers
  47.                 $tokens[] = new Token(Token::NUMBER_TYPE, 0 + str_replace('_', '', $match[0]), $cursor + 1);
  48.                 $cursor += \strlen($match[0]);
  49.             } elseif (str_contains('([{', $expression[$cursor])) {
  50.                 // opening bracket
  51.                 $brackets[] = [$expression[$cursor], $cursor];
  53.                 $tokens[] = new Token(Token::PUNCTUATION_TYPE, $expression[$cursor], $cursor + 1);
  54.                 ++$cursor;
  55.             } elseif (str_contains(')]}', $expression[$cursor])) {
  56.                 // closing bracket
  57.                 if (!$brackets) {
  58.                     throw new SyntaxError(sprintf('Unexpected "%s".', $expression[$cursor]), $cursor, $expression);
  59.                 }
  61.                 [$expect, $cur] = array_pop($brackets);
  62.                 if ($expression[$cursor] != strtr($expect, '([{', ')]}')) {
  63.                     throw new SyntaxError(sprintf('Unclosed "%s".', $expect), $cur, $expression);
  64.                 }
  66.                 $tokens[] = new Token(Token::PUNCTUATION_TYPE, $expression[$cursor], $cursor + 1);
  67.                 ++$cursor;
  68.             } elseif (preg_match('/"([^"\\\\]*(?:\\\\.[^"\\\\]*)*)"|\'([^\'\\\\]*(?:\\\\.[^\'\\\\]*)*)\'/As', $expression, $match, 0, $cursor)) {
  69.                 // strings
  70.                 $tokens[] = new Token(Token::STRING_TYPE, stripcslashes(substr($match[0], 1, -1)), $cursor + 1);
  71.                 $cursor += \strlen($match[0]);
  72.             } elseif (preg_match('/(?<=^|[\s(])starts with(?=[\s(])|(?<=^|[\s(])ends with(?=[\s(])|(?<=^|[\s(])contains(?=[\s(])|(?<=^|[\s(])matches(?=[\s(])|(?<=^|[\s(])not in(?=[\s(])|(?<=^|[\s(])not(?=[\s(])|(?<=^|[\s(])and(?=[\s(])|\=\=\=|\!\=\=|(?<=^|[\s(])or(?=[\s(])|\|\||&&|\=\=|\!\=|\>\=|\<\=|(?<=^|[\s(])in(?=[\s(])|\.\.|\*\*|\!|\||\^|&|\<|\>|\+|\-|~|\*|\/|%/A', $expression, $match, 0, $cursor)) {
  73.                 // operators
  74.                 $tokens[] = new Token(Token::OPERATOR_TYPE, $match[0], $cursor + 1);
  75.                 $cursor += \strlen($match[0]);
  76.             } elseif ('?' === $expression[$cursor] && '.' === ($expression[$cursor + 1] ?? '')) {
  77.                 // null-safe
  78.                 $tokens[] = new Token(Token::PUNCTUATION_TYPE, '?.', ++$cursor);
  79.                 ++$cursor;
  80.             } elseif ('?' === $expression[$cursor] && '?' === ($expression[$cursor + 1] ?? '')) {
  81.                 // null-coalescing
  82.                 $tokens[] = new Token(Token::PUNCTUATION_TYPE, '??', ++$cursor);
  83.                 ++$cursor;
  84.             } elseif (str_contains('.,?:', $expression[$cursor])) {
  85.                 // punctuation
  86.                 $tokens[] = new Token(Token::PUNCTUATION_TYPE, $expression[$cursor], $cursor + 1);
  87.                 ++$cursor;
  88.             } elseif (preg_match('/[a-zA-Z_\x7f-\xff][a-zA-Z0-9_\x7f-\xff]*/A', $expression, $match, 0, $cursor)) {
  89.                 // names
  90.                 $tokens[] = new Token(Token::NAME_TYPE, $match[0], $cursor + 1);
  91.                 $cursor += \strlen($match[0]);
  92.             } else {
  93.                 // unlexable
  94.                 throw new SyntaxError(sprintf('Unexpected character "%s".', $expression[$cursor]), $cursor, $expression);
  95.             }
  96.         }
  98.         $tokens[] = new Token(Token::EOF_TYPE, null, $cursor + 1);
  100.         if ($brackets) {
  101.             [$expect, $cur] = array_pop($brackets);
  102.             throw new SyntaxError(sprintf('Unclosed "%s".', $expect), $cur, $expression);
  103.         }
  105.         return new TokenStream($tokens, $expression);
  106.     }
  107. }