Основи LLM

Дванадцять речей, які виглядають багами, не будучи ними

Майже кожен приходить до цієї теми з конкретною скаргою, а не з загальним питанням: модель зробила щось, що виглядало зламаним. Спершу весь список, бо саме ним можна скористатися вже сьогодні і бо кожен рядок має точну механічну причину, а не настрій. Права колонка важить більше, ніж здається: одинадцять із цих дванадцяти лікуються деінде, а не в промпті, і взятися не за ту корекцію — найдорожча звичка на AI-проєкті. Кожен названий тут механізм повністю розібрано нижче, і на номери рядків із тих розділів є посилання.

Одна операція, повторена багато разів

Модель не читає слів. Текст спершу ріжеться на токени — фрагменти приблизно з трьох-чотирьох символів в англійській, — і кожен токен має номер, тож насправді модель отримує послідовність чисел. У цьому весь рядок 1: спитайте її, скільки літер у слові, — і вона гадає про те, чого ніколи не бачила, як ви гадали б про кількість доріжок на платівці, поданій вам у запечатаному конверті.

Маючи цю послідовність, модель видає одне: оцінку для кожного токена у своєму словнику — наскільки добре кожен продовжив би текст. Вона не видає відповіді, речення чи думки: вона видає розподіл приблизно по ста тисячах кандидатів. Далі семплер обирає одного, дописує його до входу, і весь обрахунок запускається знову для наступного токена. Відповідь на чотириста слів — це той самий цикл, прокручений кількасот разів, і саме тому вивід повільніший і дорожчий за ввід: ввід обробляється за один прохід, а кожен токен виводу — це окрема подорож крізь модель.

Семплер — це те місце, де живуть налаштування, які ви справді можете змінювати, і їх менше, ніж підказує інструментарій. Вони визначають, як розподіл перетворюється на вибір: додати знань вони не можуть і уважнішою модель не зроблять. Звідси ж і рядок 4: той самий промпт може дати різні відповіді, бо вибір із розподілу — це вибір, а навіть за найнижчої температури пакетування й відмінності заліза на боці постачальника лишають точну відтворюваність недосяжною.

Чому те саме речення коштує більше українською

Токенізатор має фіксований словник, вивчений один раз із навчального корпусу, і зберігає цілим те, що бачив часто. Той корпус переважно англійський, тож англійські слова виживають майже неушкодженими, а кирилицю ріже на уламки з одного-двох символів. Наслідок — рядок 10, і це арифметика, а не думка: той самий зміст, висловлений українською, приходить приблизно як удвічі-втричі більше токенів.

Звідси два практичні наслідки, і україномовний продукт зустрічає обидва. Перший — рахунок: однакова робота коштує більше, на кожному запиті, завжди. Другий тихіший і важливіший: контекстне вікно рахується в токенах, тож українська версія функції вичерпує місце раніше за англійську. Історія чату, набір знайдених документів чи блок прикладів, які в англійській уміщуються вільно, в українській можуть виявитися тим, що переступає межу, — і симптом виглядатиме як рядок 2, а не як проблема бюджету.

Контекстне вікно — це вся памʼять

Контекстне вікно — це максимальна кількість токенів, яку модель може мати перед собою на одному виклику, і воно вміщує все одразу: системні вказівки, розмову дотепер, будь-які вставлені документи, описи інструментів і саму відповідь, що генерується. Це не сховище. Між двома викликами модель не зберігає геть нічого: APIAPIApplication Programming Interface — контракт між програмамиПравила, за якими одна програма звертається до іншої: які запити можна надіслати, у якому вигляді й що прийде у відповідь. Для того, хто звертається, це контракт — усе, що за ним, лишається чорною скринькою, і саме тому другий бік можна переписати, не зламавши вас.Докладніше в статті →Усі терміни не має стану, точно як HTTPHTTPHyperText Transfer Protocol — протокол вебуПротокол, яким спілкуються браузер і сервер: клієнт надсилає метод і адресу, сервер відповідає кодом стану й тілом. Між запитами він нічого не памʼятає — кожен запит стоїть сам по собі, тому все, що треба памʼятати, передається явно.Усі терміни.

Велике вікно — це не те саме, що увага до всього, що в ньому. Моделі надійно використовують те, що ближче до початку й до кінця промпту, а середину — гірше: це рядок 5, і довгий документ, вкинутий у центр запиту, — класичний спосіб отримати відповідь, яка ігнорує половину його. Ставте вказівку й саме питання в кінець, найближче до місця, де починається генерація, а зайве не кладіть узагалі. Заповнювати мільйонне вікно лише тому, що воно є, — це рішення про вартість і затримку не менше, ніж про якість.

Тут же кешування промптів змінює економіку, і це та єдина оптимізація, яку варто зрозуміти рано. Постачальники можуть кешувати оброблену форму префікса вашого запиту, тож повторюваний префікс тарифікується часткою звичайної ціни входу й обробляється швидше. Заковика в тому, що збіг має бути саме префіксним: один змінений байт будь-де перед кінцем кешованої ділянки знецінює її всю. Практично це означає, що стабільний матеріал іде першим — системні вказівки, описи інструментів, довгий документ, — а все мінливе останнім. Позначка часу чи ідентифікатор запиту на початку системного промпту тихо руйнує кеш на кожному виклику, і в самій відповіді про це не скаже ніщо, крім лічильників використання.

Обмеження, які структурні, а не помилки

Модель, яка завжди видає найправдоподібніше продовження, видасть правдоподібне продовження й тоді, коли правдивого просто немає. Ось що таке галюцинація, і це рядок 3: не збій, а той самий механізм, застосований до питання, під яке у вагах немає нічого твердого. Окремого стану «я не знаю» в неї немає, тож упевнений тон хибної відповіді нічим не відрізняється від упевненого тону правильної, і впевненість не несе інформації, якою можна користуватися.

Ще два обмеження випливають із того, як роблять модель. Її ваги заморожені на межі навчання, тож усе пізніше — реліз, зміна цін, інцидент, ваша ж документація з минулого тижня — просто не всередині, і питання про це дає описану вище правдоподібну вигадку, а не зізнання. Це рядок 8. А відмови — те саме явище з іншого боку: відмова є завченою поведінкою над текстом, а не рушієм політик, — тому й стається рядок 11, і тому будь-яке правило, що справді має триматися, належить вашому власному коду.

Пʼять провалів і чого бракувало в кожному

Жоден із цих випадків не стався через несправність моделі. У кожному модель зробила рівно те, що описує механізм вище, а бракувало контролю, який хтось вважав зайвим. Їх варто знати на імена, бо кожен тепер є найдешевшим способом обґрунтувати цей контроль на плануванні.

Скільки це коштує, коли приходить справжній трафік

Вибір моделі — це діапазон, а не рішення, ухвалене один раз. Постачальники дають потужний рівень і дешевий швидкий рівень, і корисна звичка така: довести, що задача взагалі розвʼязна, на найсильнішій доступній моделі, а тоді спробувати спуститися діапазоном, маючи в руках фіксований набір тестових випадків. Без цього набору ви не обираєте модель, а вгадуєте її — і дешевша модель виглядатиме пристойно на тих трьох прикладах, які ви навмання спробували.

Рядок витрат на LLM-функцію — це майже завжди токени на запит, помножені на кількість запитів, і непомітно росте саме перший множник. Промпти накопичуються: вказівка, додана після кожного інциденту, довший приклад, ще три знайдені документи — а під усім цим історія розмови. Логуйте кількість токенів кожного виклику з першого дня, поруч із затримкою: це єдиний спосіб побачити зростання, і він перетворює туманне «AI-функція подорожчала» на конкретний промпт, який можна підрізати.

Затримка поводиться не так, як будь-яка інша ваша залежність. Час до першого токена приблизно сталий, а все після нього пропорційне тому, скільки модель пише, — тож запит із довгою відповіддю повільний саме тому, що вона довга, і жодне налаштування інфраструктури цього не змінить. Звідси дві речі: віддавайте відповідь потоком, щоб користувач бачив поступ, а не крутилку, і просіть коротший вивід, коли вам справді потрібна менша затримка, бо це та змінна, яка на неї впливає.

Ставтеся до постачальника як до того, чим він є: сторонньої залежності з лімітами частоти й показником доступності, якого ви не контролюєте. Кожен виклик потребує тайм-ауту й повтору з відступом, бо зависла заявка тримає зʼєднання значно довше за будь-яку базу. І вирішіть заздалегідь, що робить функція, коли модель недоступна, бо «сторінка висне» — це теж рішення, просто ніким не ухвалене.

Де це вироджується

Усе вище описує компонент, який генерує правдоподібний текст і не робить більше нічого. Чесне обмеження цього компонента легко сформулювати й важко прийняти: не існує ні конфігурації, ні промпту, ні версії моделі, які зробили б згенеровану відповідь самоперевірною. Кожне розташування нижче — спроба обійти цей факт, і кожне падає так, як уже передбачили дванадцять рядків.

• Ставлення до моделі як до бази знань про ваш власний продукт замість того, щоб класти свої документи в промпт.
• Тести, що звіряють точний рядок відповіді: вони падають від зміни вибірки, а не від зміни поведінки.
• Позначка часу чи ідентифікатор запиту на початку системного промпту: вони знецінюють кеш промптів на кожному виклику.
• Підняття температури, щоб відповіді стали «розумнішими», хоча воно лише робить малоймовірні токени ймовірнішими.
• Дозвіл чату рости, доки бібліотека тихо обріже початок — разом із системними вказівками.
• Заповнення величезного контекстного вікна лише тому, що воно є: ви платите за токени, які радше псують відповідь, ніж покращують.
• Планування української функції за англійськими лічильниками токенів: і вікно, і бюджет хибні вдвічі.
• Ставлення до відмови як до засобу безпеки, хоча це завчена поведінка, яку обходить переформулювання.
• Реліз без метрик токенів і затримки: перша ознака проблеми — рахунок.

Коли це застосовувати

Пов’язані сторінки

• РозробкаПромпт-інженеріяПромпт-інженерія — це робота над інструкцією, за якою діє мовна модель, і над її супроводом: як над специфікацією, а не замовлянням. Сторінка починається з чеклиста на двадцять чотири рядки, який можна звірити з власним промптом уже сьогодні; далі — діагноз, що вирішує, чи промпт узагалі є тим, що треба редагувати, з чого складається промпт, прийоми, які справді змінюють результат, набір оцінювання, без якого нічого з цього не виміряти, інʼєкція як архітектурна межа і пʼять задокументованих провалів.
• РозробкаRAG-архітектураRetrieval-augmented generation (RAG) — це відповіді на питання про дані, на яких модель не навчали: спершу знайти доречні фрагменти, тоді покласти їх у промпт. Вимога, щоб відповідь походила саме з них, робить RAG пошуковою системою з мовною моделлю на кінці, — і тому майже кожна хибна відповідь є збоєм пошуку, а не генерації. Сторінка починається з чеклиста побудови на двадцять чотири рядки, далі — девʼять симптомів і де кожен справді лікується, два конвеєри, як вимірювати пошук окремо, проблема прав доступу, що перетворює демо на інцидент, альтернативи і пʼять задокументованих провалів.
• РозробкаLLMOpsLLMOps — це практика тримати в продакшені фічу на мовній моделі, де той самий ввід не дає надійно того самого виводу. Вона існує тому, що все, що робить програму придатною до релізу — тест, який падає, дифф, що пояснює зміну, відкат, який повертає вчорашній стан, — припускає, що дає. Сторінка починається з чеклиста готовності до прода на двадцять чотири рядки; далі — чим заміняють кожну практику, чому одиниця розгортання складається з чотирьох речей, а не з однієї, оцінювання як набір тестів, що має містити слід, як поводяться вартість і затримка під справжнім трафіком, і пʼять задокументованих інцидентів.