トークン化

「トークン化」の英語

「トークン化」は英語で tokenization と言います。自然言語処理や機械学習で、文章を単語・記号などの単位に分ける処理を指します。単語の境界を特定する処理は、特に word segmentation と言います。

「トークン化」の英語の使い分け

tokenization
自然言語処理や機械学習で、文章を単語・記号・サブワードなどの単位に分ける一般的な語です。
Tokenization prepares the text for further analysis.
トークン化によって、テキストをその後の分析に備えます。
word segmentation
テキストを単語単位に分け、単語の境界を特定する処理を指す、より限定的な表現です。
The system performs word segmentation before analysis.
そのシステムは分析の前に単語分割を行います。

「トークン化」の例文

In NLP, word division improves tokenization accuracy.

NLPでは、単語分割がトークン化の精度を高める。

コアイメージ

テキストを単語単位に分けて語の境界を特定する処理

英英

The process of separating text into individual words or tokens to identify word boundaries, commonly used in natural language processing.

語源

word divisionは、英語のwordとdivisionが結び付いた語で語を区切る操作を表す。

コラム

NLPでは単語分割はトークン化の一形態で、言語や用途によりサブワード分割と区別される。

「トークン化」のレベル別の例文

中学
The computer tokenizes this sentence into small parts.

コンピューターはこの文を小さな部分にトークン化します。
高校・英検2級
Accurate tokenization helps language models understand Japanese text.

正確なトークン化は、言語モデルが日本語の文章を理解するのに役立ちます。
TOEIC・ビジネス
Our team performed word segmentation before analyzing customer feedback.

私たちのチームは顧客の意見を分析する前に単語分割を行いました。
日常会話
How does this program tokenize Japanese?

このプログラムはどうやって日本語をトークン化するの？

「トークン化」を英語にするときのよくある間違い

× Tokenization means dividing only words.

○ Tokenization can divide text into words, symbols, or subwords.

トークン化は単語だけでなく、記号やサブワードも対象にします。
× We do tokenization before analysis.

○ We perform tokenization before analysis.

技術文書では perform tokenization または tokenize が自然です。

「トークン化」の英語についてよくある質問

Q. 「トークン化」を英語で一言で言うと？

tokenization が一般的です。動詞なら tokenize と言います。

Q. tokenization と word segmentation の違いは？

tokenization は単語・記号・サブワードなどに分ける広い語です。word segmentation は特にテキストを単語単位に分け、単語の境界を特定する処理を指します。

Q. 「トークン化」の技術文書での言い方は？

名詞では tokenization、動詞では tokenize が一般的です。処理を行うという文脈では perform tokenization も使えます。

「トークン化」と関連する日本語の英語

分割するsplit

ほかの日本語から英語を引く