Вже 7 липня Fable 5 скасовує звичні плани підписки. Після цього користувачам доведеться купувати кредити за фактичне використання, що зробить роботу з моделлю суттєво дорожчою.
Читайте также: ШІ проти дешевих смартфонів: телефони в діапазоні $220 можуть зникнути у 2027 році
Як працює лайфхак
Метод Роберта Юссефа, яким він поділився в Х, полягає в тому, щоб не надсилати важкий контекст у вигляді тексту, а передавати його як зображення.
Уся суть — у специфіці того, як тарифікуються сучасні мультимодальні моделі штучного інтелекту через API. Зазвичай розробники платять за кожен токен, тобто за кожне окреме слово чи склад у тексті, через що надсилання величезних системних промтів, інструкцій до інструментів та довгої історії листування швидко спалює баланс.
Однак, коли модель приймає картинки, плата стягується не за вміст, а виключно за фізичний розмір зображення в пікселях.
Щоб скористатися цією лазівкою, Юссеф запускає на своєму комп’ютері спеціальну утиліту-проксі під назвою pxpipe. Цей інструмент автоматично перехоплює важкі текстові блоки з контекстом перед тим, як вони відправляться до нейромережі, і рендерить цей масив даних в один компактний PNG-файл.
Читайте также: Українці представили на Kickstarter автоматичний польовий годинник «Генерал», натхненний сучасною військовою інженерією
Модель без проблем зчитує весь текст безпосередньо з картинки завдяки своїм мультимодальним можливостям розпізнавання зору, але для гаманця розробника це коштує в рази дешевше.
При цьому, щоб ШІ не припускався помилок і не вигадував дані, у текстовому вигляді продовжують надсилати інформацію, яка потребує абсолютної точності, як-от останні репліки діалогу, API-ключі чи унікальні ідентифікатори, тоді як картинка бере на себе роль дешевого сховища для базового та статичного об’єму інформації.
Результат
Завдяки перетворенню масивів тексту на зображення, Роберту Юссефу вдалося отримати майже у 2.5 рази більше робочого часу за ті самі гроші.
Читайте также: В Україні пропонують запровадити 4-денний робочий тиждень: на сайті Кабміну з’явилася петиція
Докладніше ознайомитися з pxpipe можна на GitHub.