トークン
意味
- 男性名詞 トークン
例文
コアイメージ
連続した情報を、処理の境目ごとに切り出して数える単位
フランス語での定義
Unité formée par la division d'un texte ou d'une donnée pour son traitement informatique.
語源
tokenは、英語 token に由来する借用語で、英語の原義「しるし」が情報処理の単位を表す語へ広がったもの
コラム
- 生成AIのtokenは、単語全体だけでなく語の一部や句読点になることがあり、フランス語でも分割のされ方が変わる
「トークン」は英語では
おすすめの単語帳
1 / 1