ІнфраструктураПідрозділ
MLOps
Усе, що має бути правдою до того, як модель підпустять до продакшну, і все, що лишається правдою після. Три теми: пайплайн, що робить тренувальний запуск відтворюваним; шлях обслуговування, де затримка й вартість стають чиєюсь проблемою; і індекс, що робить пошук за схожістю достатньо швидким. Експлуатація саме LLM-фічі — це LLMOps, у розділі «Розробка».
Що всередині
Усі сторінки цієї групи — і про що кожна з них.
- ML-пайплайниПоходження як результат: які дані, який код і які параметри дали цю модель — і чи повторите ви це знову.ПоходженняВідтворюваність
- Model ServingНаскрізний шлях обслуговування й що спостерігати саме за моделлю — включно з тристороннім діагнозом дрейфу.ЗатримкаДрейф
- Векторні бази данихНаближений пошук найближчих сусідів: чим жертвує «наближений» і як зрозуміти, що він пожертвував забагато.ANNПовнота
З чого почати
- Моделі тренують рукамиML-пайплайни. Саме походження перетворює результат із ноутбука на те, що можна випустити й потім пояснити.
- Модель уже в боюОбслуговування моделей, надто розділ про дрейф: саме ця сторінка володіє тим, що спостерігати за моделлю.
- Будуєте пошукСпершу векторні бази тут, потім архітектура RAG у «Розробці»: сховище і дизайн, що ним користується.
Інше в цьому розділі
- ІнфраструктураІнфраструктура — це все, що перетворює код на щось працююче, за чим можна спостерігати, що можна змінювати й відкочувати. У розділі 11 тем у чотирьох групах: DevOps і пайплайн, який збирає один артефакт і просуває його незмінним; три великі хмари й те, як кожна стримує помилку; MLOps — ті самі задачі знову, але для моделі замість бінарника; і моніторинг, який робить інцидент відповідним на питання о третій ночі.
- AI та LLMЯк будувати фічі на компоненті, що двічі дає різні відповіді на те саме питання. Шість тем у порядку появи: що модель насправді робить, як її правильно питати, як дати їй ваші дані, коли міняти саму модель, як усе це запускати в продакшні й що змінюється, коли вона може викликати інструменти. Тестування таких фіч — окрема дисципліна, і воно живе в розділі QA.
- МоніторингДві сторінки з чіткою межею між ними. Логування володіє записом: що фіксується і чи матиме відповідь питання, поставлене через три тижні. Алертинг починається там, де умова мусить дійти до людини, — а це питання про переривання людини, а не про пороги. Читайте в цьому порядку: не можна корисно алертувати на даних, які ви не структурували.
Було корисно?
Поділіться з тим, хто працює над тією ж задачею.