正規表現テーブルレクサー
正規表現のリストを使用して字句アナライザーを実装します。
パーサーは主に言語の構造を扱い、特に言語のコンポーネントをどのように組み合わせるかです。キーワード、数値、名前などの最も基本的な言語コンポーネントは、パーサーによって明瞭に認識できます。しかし、一般にこの段階は字句アナライザーに分けます。これらの終端記号を認識するために別のパスの使用により、パーサーの構築が簡単になります。
字句アナライザー、別名レクサーを直接実装することは比較的簡単です。字句アナライザーは正規言語の空間にしっかりと留まります。つまり、標準正規表現 API を使用してこれらを実装できます。正規表現テーブルレクサーの場合、特定の終端記号にそれぞれ関連付けられた 正規表現のリストを使用します。入力をスキャンし、入力の個々の部分を適切な正規表現に関連付け、個々の終端記号の名前を付けるトークンのストリームを生成します。このトークンストリームがパーサーへの入力です。
詳細については、DSL ブックの第 20 章を参照してください