linguistic string

「linguistic string」の例文例文

The tokenizer processed the linguistic string into tokens.

トークナイザーはその文字列をトークンに分割した。

「linguistic string」のコアイメージコアイメージ

トークナイザーなどが処理対象とする一続きの文字列

「linguistic string」の英英英英

A sequence of characters or symbols that serves as input for processing tasks such as tokenization.

「linguistic string」の語源語源

linguistic stringは、linguistic（言語の）とstring（つながり）の合成語で、処理対象の文字列を表す。

「linguistic string」のコラムコラム

• 例文のようにトークナイザーが文字列をトークンに分割する場面で用いられる表現。

単語を報告