「token」のコアイメージコアイメージ
長い情報を読み書きしやすく区切った、処理のための一片
「token」のスペイン語での定義スペイン語での定義
Unidad mínima en la que un sistema informático divide un texto para analizarlo o procesarlo.
「token」の語源語源
tokenは、英語 tokenから入った借用語で、技術分野では文章を処理する単位を表す語
「token」のコラムコラム
- 大規模言語モデルでは、tokenは単語だけでなく、単語の一部や句読点にもなり、入力と出力の量を数える単位になる
「token」は英語では
- 「トークン」 → dkl和英辞典で見る
- 「代用貨幣」 → token money和英辞典で見る