Великі мовні моделі використовують токенізатори для перетворення тексту в токени, які стали базовою економічною одиницею для розрахунку вартості використання ШІ-моделей. Оскільки поділ слів на токени та кількість токенів, необхідна для виконання завдання, різняться залежно від моделі, передбачити кінцевий рахунок стало досить складно.
Читайте также: SoftServe придбав індійську NewVision. Яка мета цього кроку
Нещодавні зміни в токенізаторі Anthropic, схоже, ще більше заплутали ситуацію, оскільки обробка того самого контенту на деяких моделях тепер коштує дорожче.
Платформа для створення ШІ-додатків Playcode нещодавно проаналізувала вплив нового токенізатора Anthropic. З’ясувалося, що один і той самий TypeScript-файл при обробці моделлю Claude може споживати до 73% більше токенів, ніж у сімействі моделей GPT-5.x від OpenAI, повідомляє The Register.
В Anthropic визнають, що їхній новий токенізатор — анонсований наприкінці червня разом із виходом Sonnet 5 — може генерувати більше токенів для того самого обсягу вхідних даних, ніж попередні версії.
«Sonnet 5 є оновленням версії Sonnet 4.6, але в ньому використовується модернізований токенізатор, який змінює спосіб обробки тексту для підвищення продуктивності (це схоже на зміну токенізатора, яку ми впровадили в Claude Opus 4.7)», — пояснили в компанії. «Компромісом є те, що той самий обсяг вхідних даних може конвертуватися у більшу кількість токенів: приблизно в 1,0–1,35 раза більше залежно від типу контенту».
Читайте также: Статки засновника DeepSeek зросли вдвічі, зробивши його найбагатшим серед творців ШІ
Щоб зробити підвищену генерацію токенів більш-менш нейтральною для гаманця користувачів, Anthropic запропонувала знижену ознайомчу ціну на Sonnet — $2 за мільйон вхідних токенів і $10 за мільйон вихідних токенів до 31 серпня 2026 року. Однак після цієї дати ціна має зрости до $3 і $15 за мільйон відповідно.
Проведене Playcode порівняння токенізації між різними постачальниками показує, що для TypeScript-файлу розміром 2 888 символів новий токенізатор Claude видає в 1,73 раза більше токенів, ніж токенізатор GPT-5.x, і в 1,32 раза більше, ніж старий токенізатор самого Claude. Ці показники відрізняються для різних мов програмування: для Rust коефіцієнт становить 1,58, для JavaScript — 1,52, а для Python — 1,50.
Тож, як зазначають у Playcode, якби офіційні ціни Anthropic скоригували для порівняння з базовим рівнем GPT-5.x від OpenAI, реальна вартість Opus 4.8 становила б $7,50 долара за мільйон вхідних і $37,50 за мільйон вихідних токенів замість заявлених $5 і $25 відповідно.
Читайте также: Сметанін оголосив, що йде з посади директора «Укроборонпрому». Які причини