例文

コアイメージ

トークナイザーなどが処理対象とする一続きの文字列

英英

A sequence of characters or symbols that serves as input for processing tasks such as tokenization.

語源

linguistic stringは、linguistic（言語の）とstring（つながり）の合成語で、処理対象の文字列を表す。

コラム

• 例文のようにトークナイザーが文字列をトークンに分割する場面で用いられる表現。