Token

Tokenの定義は、簡単に言えば、tokenは大規模モデルが言語を理解し処理するための「最小単位」です。コンピュータは人間のように「文字」や「単語」に沿って読むことはできず、本質的には数字しか認識できません。テキストを機械に処理させるためには、まず文字を分割し、それを数字の列に変換する必要があります。