トークンとは、LLM（大規模言語モデル）がテキストを処理する際の最小単位のことです。英語では単語やサブワード（単語の一部）、日本語では1文字から数文字が1つのトークンとして扱われ、AIモデルがテキストを理解・生成する基盤となる概念です。
トークン化の仕組みは言語によって異なります。英語の場合、「Hello World」は「Hello」と「World」の2つのトークンに分割されることが多く、比較的直感的です。一方、日本語は文字間にスペースがないため、より複雑な処理が必要となり、「こんにちは」が「こん」「にちは」のように分割される場合があります。この違いにより、同じ意味の内容でも日本語の方がトークン数が多くなる傾向があります。
ビジネスでトークンを理解することは重要です。APIを利用した生成AIサービスでは、入力と出力のトークン数によって利用料金が決まるためです。また、コンテキストウィンドウ（一度に処理できるトークン数の上限）の制約もあり、長文処理時は事前にトークン数を把握しておく必要があります。効率的なプロンプトエンジニアリングを行う上でも、トークン消費量を意識した文章作成が求められます。