Нажмите на ссылку 2-lm_tokenization.pdf, чтобы просмотреть файл.