Fine-tuning

Вісімнадцять умов до навчального прогону

Навчальний прогін — це команда, що триває кілька годин, і саме ця дешевизна робить цю сторінку потрібною: дорога частина — усе те, до чого прогін вас далі зобовʼязує. Спершу весь список умов, пронумерований, щоб на рядок можна було послатися на плануванні. Проєкт, який не може відповісти на 1.1 і 6.1, не готовий, хоч якими добрими були б дані, — і саме ці дві пропускають найчастіше: першу тому, що ніхто не хоче визнати, що промпт ніколи не вимірювали, другу тому, що це чужа проблема, доки не стає нічиєю.

1. 1.Чи спробували дешевші щаблі?

   1. 1.1Найкращий промпт, який ви можете написати, виміряно на відкладеному наборі, і ви знаєте його число.
   2. 1.2Пошук спробували для всього, що є фактом, а не поведінкою.
   3. 1.3Сильнішу базову модель спробували й порахували її вартість — вона змінюється за пів дня.

2. 2.Чи це та проблема, яку він лікує?

   1. 2.1Проблема в поведінці, формі чи судженні — не у фактах, цінах, політиках чи будь-чому, що має бути актуальним.
   2. 2.2Вимога достатньо стала, щоб не змінюватися щотижня, бо кожна зміна коштує навчального прогону.
   3. 2.3Обсяг достатній, щоб коротший промпт окупив навчання й супровід.

3. 3.Чи зможете ви зібрати набір даних?

   1. 3.1Правила розмітки узгоджено письмово до того, як хтось щось розмітить.
   2. 3.2Приклади беруться зі справжнього бойового вводу — разом із неохайними й тими, де слід відмовити.
   3. 3.3Кількасот справді добрих прикладів існують або можуть бути зроблені, і хтось відповідає за їх створення.
   4. 3.4Відкладену частину відділено до початку навчання, і на ній ніколи не навчаються.

4. 4.Чи маєте ви право на цьому навчатися?

   1. 4.1Персональні дані вилучено чи замасковано до навчання, а не відфільтровано на виході.
   2. 4.2Ви маєте право навчатися на цьому вмісті: дані клієнтів за угодою про обробку, ліцензовані корпуси, виводи чужого постачальника.
   3. 4.3Ви знаєте, чи навчається ваш постачальник на надісланому, — а для набору даних це інше питання, ніж для повідомлення в чаті.

5. 5.Чи зможете ви довести результат?

   1. 5.1Порівняння — з найкращим промптом на базовій моделі, на тих самих відкладених випадках, а не ні з чим.
   2. 5.2У наборі оцінювання лишається кілька загальних випадків, а не сама лише задача, під яку навчали.
   3. 5.3Розрив достатньо великий, щоб виправдати все з групи 6.

6. 6.Хто володіє цим потім?

   1. 6.1Є названий власник перенавчання — саме людина, а не команда.
   2. 6.2Є узгоджена періодичність повторного прогону, коли постачальник випускає кращу базову модель.
   3. 6.3Є задокументований шлях назад до базової моделі з промптом — на випадок, якщо налаштовану доведеться покинути.

Чотири щаблі й правило сходження

Є чотири способи змусити модель поводитися так, як потрібно вашому продукту, і кожен наступний різниться приблизно на порядок у вартості, у часі на спробу й у тому, скільки доведеться потім утримувати. Правило, що вберігає команди від халепи, просте: не піднімайтеся на щабель, з якого вас не зіштовхнули. Більшість проєктів, які взялися за fine-tuning рано, згодом виявляють, що кращий промпт і крок пошуку дали б той самий результат за пів дня, — і умова 1.1 існує, щоб зʼясувати це до, а не після.

• Промптинг

  Хвилини на зміну, нічого утримувати. Лагодить формат, тон і більшість поведінки. Коштує токенів входу на кожному виклику — назавжди.

• Пошук

  Дні на побудову. Єдиний спосіб дати моделі факти, які можна цитувати, оновлювати й обмежувати за користувачем.

• Fine-tuning

  Тижні, переважно на дані. Переносить сталу поведінку у ваги й скорочує кожен наступний промпт.

• Продовжене передтренування

  Місяці й серйозний бюджет. Лише для галузі, чиєю мовою базова модель справді не говорить.

У драбині є одна асиметрія, яку варто назвати, бо вона змінює те, як рішення старіє. Нижні щаблі покращуються самі: виходить нова базова модель — і ваш промпт та ваш конвеєр пошуку успадковують усі її покращення ціною зміни одного рядка. Верхні щаблі роблять протилежне: налаштована модель прикріплена до бази, на якій навчалася, і не успадковує нічого, тож розрив між «те, що в нас є» і «те, що доступне» щокварталу зростає, доки хтось не повторить вправу. Тож драбина — це не статична картинка вартості, а картинка того, які рішення далі окупаються, а які починають виставляти рахунок.

Чим різняться методи

Дві відмінності покривають майже все, що вам трапиться. Перша — наскільки сильно ви змінюєте саму модель. Повний fine-tuning оновлює всі ваги, потребує заліза, здатного тримати стан оптимізатора для всієї моделі, і дає цілу нову модель, яку треба зберігати й обслуговувати. Параметрично-ефективні методи — за назвою вам трапиться LoRA — заморожують оригінальні ваги й навчають невеликий набір додаткових поруч, зазвичай частку відсотка від загалу.

Друга відмінність — що саме ви показуєте моделі. Навчання з учителем показує їй ввід і правильний вивід; це правильний інструмент щоразу, коли правильну відповідь можна записати: класифікація, видобування, документ у вашому фірмовому форматі. Навчання на вподобаннях показує їй дві відповіді й те, яку людина обрала; воно існує для випадків, коли правильну відповідь написати не можна, але можна впізнати: тон, корисність, наскільки твердо відмовляти. Дані про вподобання значно дорожчі в зборі, і братися за них варто лише після того, як навчання з учителем вичерпало себе.

Набір даних і є проєктом

Навчальний прогін — це команда, що триває кілька годин. Усе, що визначає, чи вийшло, відбувається до неї — у наборі даних, — і команди стабільно планують це навпаки. Кількасот справді добрих прикладів переважають десятки тисяч зібраних абияк, бо модель вчить рівно те, що ви їй показали, — разом із суперечностями. Двоє розмітників, які розійшлися в тому самому випадку, навчають модель бути непослідовною саме в цьому місці, тож умова 3.1 — узгодити правила розмітки письмово до того, як хтось щось розмітить, — це не процес заради процесу.

Набір даних також має бути схожим на прод — це звучить очевидно й порушується постійно. Справжній ввід неохайний: одруківки, змішані мови, вставлені підписи з листів, порожні поля, питання, на які система має відмовити. Якщо кожен навчальний приклад — це чистий, добре сформований запит, модель вивчить, що світ чистий, і поводитиметься непередбачувано першого ж разу, коли це не так. Свідомо додайте незручні випадки й відмови — приблизно в тій пропорції, в якій вони трапляються.

Як довести, що воно спрацювало

Відкладіть частину прикладів до початку й ніколи на них не навчайтеся. Без відкладеного набору ви не відрізните модель, що вивчила задачу, від тієї, що запамʼятала ваші приклади, — а друга виглядає бездоганно на всьому, що ви виміряли. Це стандартна практика. Нестандартним — і причиною існування цього розділу — є те, з чим ви порівнюєте відкладений бал.

Важливе порівняння — не налаштована модель проти нічого, а налаштована модель проти найкращого промпту, якого ви досягли на базовій, на тих самих відкладених випадках. Проти нічого успішною є кожна налаштована модель — тому майже кожен внутрішній звіт саме так і читається. Проти серйозного промпту значна їх частка виявляється такою, що купила два-три пункти й зобовʼязання із супроводу, — а знати, яка з них у вас, це різниця між рішенням і покупкою.

Одне практичне зауваження про розмір розриву. Різниця в один-два пункти на пʼятдесяти відкладених випадках — це один-два випадки, тобто шум: той самий набір, прогнаний двічі на тій самій моделі, зрушиться на стільки ж сам собою. Якщо рішення тримається на малому розриві, або збільшуйте відкладений набір, доки розрив не перевищить шум, або прийміть, що відрізнити їх ви не можете, і візьміть варіант, який менше утримувати. Другий результат — справжній і поважний, і дістатися до нього тут значно дешевше, ніж у кварталі після зміни базової моделі.

Чого це коштує деінде — і хто платить потім

Модель, сильно налаштована на вузьку задачу, гіршає в тому, що вміла раніше. Попросіть модель, навчену лише видавати мітки класифікації, пояснити своє міркування — і можете дістати мітку. Це очікуваний наслідок зсуву ваг до одного розподілу, і найнезручніше те, що набір оцінювання, який містить лише навчену задачу, цього не бачить: число у звіті далі покращується, тоді як те, чого ніхто не міряє, іде в протилежний бік.

Цей компроміс має різновид, повʼязаний із безпекою, про який варто знати, бо він дивує тих, хто вважав, що безпечність є властивістю базової моделі, а не її поточних ваг. Опубліковані дослідження показали, що невелика кількість зловмисних прикладів і кілька доларів донавчання можуть зняти більшу частину поведінки відмови, а навіть цілком нешкідливе донавчання вимірювано її погіршує. Якщо ваш продукт покладається на те, що базова модель відхиляє певні запити, ця опора не переживає ваш навчальний прогін автоматично, — і умова 5.2, тримати загальні випадки в наборі оцінювання, перетворює припущення на перевірку.

Рахунок, про який забувають, приходить пізніше. Налаштована модель прикріплена до бази, на якій навчалася, тож коли постачальник випускає кращу базу — а це тепер стається кілька разів на рік, — ваша модель не успадковує з неї нічого. Ви обираєте між тим, щоб лишатися на старіючій базі, і тим, щоб повторити всю вправу: перенавчити, переоцінити, перерозгорнути. Група умов 6 — це найдешевша версія цієї розмови: імʼя, періодичність і записаний шлях назад до базової моделі з промптом, якщо виявиться, що розрив зник.

Обслуговування розпадається на дві дуже різні ситуації. Хостинговий постачальник бере ваш набір даних, повертає ідентифікатор моделі — і решта вашого коду не змінюється: ви платите надбавку за токен, і на цьому все. Самостійний хостинг моделі з відкритими вагами й вашим адаптером дає контроль над резидентністю даних і собівартістю на великих обсягах — і віддає вам у руки парк GPUGPUGraphics Processing Unit — процесор для паралельних обчисленьПроцесор із тисяч простих ядер, які роблять однакову операцію над великими масивами чисел одночасно. Саме така будова потрібна для тренування й запуску моделей — тому GPU давно перестали стосуватися лише графіки.Усі терміни з плануванням потужностей, пакетуванням, компромісами квантизації та черговими змінами. Другий шлях — це зобовʼязання щодо платформи, а не крок розгортання, і це варто назвати вголос до того, як рішення ухвалиться саме собою.

Пʼять навчальних прогонів і чого вони навчили

Два з цих випадків старші за нинішнє покоління моделей і стоять тут тому, що механізм не змінився: що в даних, те й на виході, і нижче за течією це не ремонтується. Інші три — про рішення, а не про дані: що саме копіює імітація, як швидко модель, навчену під галузь, переганяють, і що навчальний прогін робить із поведінкою, якої ніхто не навчав.

Де це вироджується

Чесне обмеження в тому, що fine-tuning — це спосіб купити сталість, а сталість не тотожна правильності. Він змусить модель надійно робити те, що показав їй набір даних, — разом із тим, чого ніхто показувати не збирався, — і зробить це без жодної змоги потім процитувати, оновити чи пояснити окрему поведінку. Усе нижче — різновиди очікування, що він зробить щось інше.

• Fine-tuning до серйозної спроби промптингу й пошуку, яких зазвичай вистачило б.
• Навчання на документах, щоб дати факти: виходять плавні відповіді з тихо хибними деталями.
• Відсутність відкладеного набору: запамʼятаний набір не відрізнити від вивченої задачі.
• Порівняння налаштованої моделі ні з чим замість найкращого промпту на базовій моделі.
• Ставлення до розриву в два пункти на пʼятдесяти випадках як до результату, хоч той самий набір, прогнаний двічі, зрушиться на стільки ж.
• Непослідовні мітки: вони вчать модель бути непослідовною саме в цих місцях.
• Чисті навчальні дані для неохайного бойового вводу: перший же кривий запит поводиться непередбачувано.
• Вимірювання самої лише навченої задачі: здібності, які коштував прогін, не зʼявляються в жодному звіті.
• Відсутність плану й власника перенавчання: модель лишається прикріпленою до бази, на якій ніхто не хоче бути.

Коли це застосовувати

Пов’язані сторінки

• РозробкаRAG-архітектураRetrieval-augmented generation (RAG) — це відповіді на питання про дані, на яких модель не навчали: спершу знайти доречні фрагменти, тоді покласти їх у промпт. Вимога, щоб відповідь походила саме з них, робить RAG пошуковою системою з мовною моделлю на кінці, — і тому майже кожна хибна відповідь є збоєм пошуку, а не генерації. Сторінка починається з чеклиста побудови на двадцять чотири рядки, далі — девʼять симптомів і де кожен справді лікується, два конвеєри, як вимірювати пошук окремо, проблема прав доступу, що перетворює демо на інцидент, альтернативи і пʼять задокументованих провалів.
• РозробкаПромпт-інженеріяПромпт-інженерія — це робота над інструкцією, за якою діє мовна модель, і над її супроводом: як над специфікацією, а не замовлянням. Сторінка починається з чеклиста на двадцять чотири рядки, який можна звірити з власним промптом уже сьогодні; далі — діагноз, що вирішує, чи промпт узагалі є тим, що треба редагувати, з чого складається промпт, прийоми, які справді змінюють результат, набір оцінювання, без якого нічого з цього не виміряти, інʼєкція як архітектурна межа і пʼять задокументованих провалів.
• РозробкаLLMOpsLLMOps — це практика тримати в продакшені фічу на мовній моделі, де той самий ввід не дає надійно того самого виводу. Вона існує тому, що все, що робить програму придатною до релізу — тест, який падає, дифф, що пояснює зміну, відкат, який повертає вчорашній стан, — припускає, що дає. Сторінка починається з чеклиста готовності до прода на двадцять чотири рядки; далі — чим заміняють кожну практику, чому одиниця розгортання складається з чотирьох речей, а не з однієї, оцінювання як набір тестів, що має містити слід, як поводяться вартість і затримка під справжнім трафіком, і пʼять задокументованих інцидентів.