Русский
Токены в ИИ и древности: 10 000 лет истории минимальной единицы смысла
Токены — новое изобретение XXI века
Это самый большой миф. Почему?
С развитием ИИ мы все чаще слышим про «токены». Именно за них мы платим OpenAI, Anthropic, Google и всем прочим создателям LLM. Токены дорожают. Чем больше токенов, тем умнее ИИ.
Что такое токены в мире ИИ
Что же такое токен в мире ИИ? Это минимальная единица текста, на которые языковая модель разбирает запрос. Может быть слово или часть слова или даже один символ. В английском в среднем, один токен — 0,75 слова, в русском — 0,4.
Современные модели обучаются на триллионах токенов, вход и выход модели тоже считается в количестве токенов. Это новая единица интеллектуального труда и именно на них держится ценообразование и тарифы.
Кажется, что это самая современная концепция.
История токенов насчитывает 10 000 лет: задолго до ИИ
Но на самом деле токенам около 10 тысяч лет, точнее концепции «токен».
Около 8000 года до нашей эры, за пять тысяч лет до первых городов и письменности, жители Месопотамии, на территории нынешнего Ирака, начали использовать глиняные токены.
Маленькие, размером с фалангу пальца, обожжённые предметы разных форм. Каждая форма определяла свой товар: конус — малая мера зерна, шарик — большая, диск — овца или коза, цилиндр — корова, тетраэдр — день человеческого труда, овоид — кувшин масла.
Это были не просто числа, это числа со смыслом. Тысячи лет токены лежали в храмовых хранилищах, путешествовали в торговых караванах, передавались из рук в руки.
Токены ИИ и история математики: параллели через тысячелетия
А потом победила эффективность. Около 3500 лет до н.э. людям надоест таскать эти токены и они решат начать просто записывать числа на глиняных табличках.
Так математика перешла из физического мира в абстрактные записи.
Согласитесь, токены сейчас и 10 тыс лет назад похожи. Минимальная единица учётная смысла, которая определяет «возможности» и «силу».
Что же станет с токенами ИИ через 1000 лет?