単語分割
「単語分割」の英語
「単語分割」は英語で word segmentation と言います。自然言語処理で最も一般的な表現で、tokenization は単語だけでなく記号やサブワードも分ける広い語です。word division は文脈によって使われますが、専門分野では word segmentation が無難です。
「単語分割」の英語の使い分け
word segmentation
自然言語処理で、文章を単語単位に分ける処理を指す標準的な表現です。
tokenization
単語に限らず、記号やサブワードなどのトークンに分ける広い表現です。
word splitting
テキストを個々の単語やトークンに分ける操作を説明する表現です。word segmentation より一般的で説明的な言い方です。
例文
コアイメージ
テキストを単語単位に分けて語の境界を特定する処理
英英
The process of separating text into individual words or tokens to identify word boundaries, commonly used in natural language processing.
語源
word divisionは、英語のwordとdivisionが結び付いた語で語を区切る操作を表す。
コラム
- NLPでは単語分割はトークン化の一形態で、言語や用途によりサブワード分割と区別される。
例文
We implemented word-splitting to improve tokenization.
私たちはトークナイズを改善するために単語分割を実装した。
コアイメージ
テキストを処理しやすくするために単語を個々のトークンに分ける操作
英英
The process of dividing text into individual words or tokens for processing, especially in natural language processing and tokenization.
語源
word-splittingは、英語のwordが示す単語とsplittingが示す分割することを組み合わせた語で、splitの動名詞が名詞化して単語を分けることを表す
コラム
- NLPではword-splittingはトークナイズ精度向上のために行われ、形態素分割やサブワード分割とは目的や分解単位が異なる
「単語分割」のレベル別の例文
「単語分割」を英語にするときのよくある間違い
× word cutting
コンピューター処理の「単語分割」には、通常 word segmentation を使います。
× We do word division the text.
○ We perform word segmentation on the text.
処理を表す場合は do ではなく perform を使い、対象には on を置きます。