Обучения
Что такое токены в нейросети
Токены — это кусочки текста, которыми нейросеть измеряет объём данных. Объясняем, что это, сколько токенов в слове и зачем это знать пользователю.
Редакция SUIN.AI · · ~6 мин
Если вы хоть раз читали про нейросети, то натыкались на слово «токены»: контекст 128к токенов, лимит токенов, цена за токены. Звучит технически, но идея простая. Объясним за пару минут.
Токены — это маленькие кусочки текста, которыми нейросеть измеряет объём данных. Один токен — это примерно ¾ слова в английском или 2–3 символа в русском. Модель «читает» и «пишет» именно токенами, а не буквами или словами.
Зачем вообще нужны токены
Нейросети удобнее работать с кусочками одинакового «веса», чем со словами разной длины. Поэтому текст разбивается на токены: частые слова — это один токен, редкие и длинные — несколько.
Что такое контекстное окно
Контекстное окно — это сколько токенов модель удерживает за один раз. Чем оно больше, тем длиннее документ можно загрузить и тем дольше модель «помнит» начало разговора. Окно в 1 000 000 токенов — это сотни страниц текста целиком.
| Объём | Примерно токенов |
|---|---|
| Короткое сообщение | 10–50 |
| Страница текста | ~500 |
| Статья | 2 000–4 000 |
| Книга | сотни тысяч |
А что с оплатой?
Во многих сервисах платят «за токены», и это неудобно считать. В SUIN.AI проще: баланс измеряется в понятных нейронах, и под каждым ответом видно расход. Считать токены вручную не нужно.
Где это пригодится
Понимание токенов помогает выбирать модель под задачу: для работы с большими документами берите модели с большим контекстным окном. В SUIN.AI такие есть — загрузите PDF или базу знаний целиком.