「token」のコアイメージコアイメージ
連続した情報を、処理の境目ごとに切り出して数える単位
「token」のフランス語での定義フランス語での定義
Unité formée par la division d'un texte ou d'une donnée pour son traitement informatique.
「token」の語源語源
tokenは、英語 token に由来する借用語で、英語の原義「しるし」が情報処理の単位を表す語へ広がったもの
「token」のコラムコラム
- 生成AIのtokenは、単語全体だけでなく語の一部や句読点になることがあり、フランス語でも分割のされ方が変わる