Компʼютерний зір

Інференс живе всередині бюджету, і бюджет — це не памʼять GPU

Обслуговування моделей у дата-центрі оптимізують за пропускною здатністю на долар. На пристрої обмеження інші за природою, а не за ступенем, і три з них узагалі не стосуються обчислень. Загальний матеріал про сервінг живе на сторінках MLOps; далі — лише те, що змінюється.

Проблема даних, якої не полагодить жодне навчання

Детектор вивчає той розподіл, який йому показали. У розгортанні він зустрічає інший, і розрив не є випадковим шумом: він систематичний, великий і достатньо передбачуваний, щоб його планувати. Це найбільше джерело польових збоїв у системах зору, і воно майже ніколи не є помилкою моделювання.

• Зсув сенсора. Модель, навчена на кольоровому зображенні, не переноситься на тепловізійне, а навчена на одній тепловізійній камері часто не переноситься на іншу. Сенсор є частиною навчальних даних, а не їхньою деталлю.
• Сезон і погода. Листя, сніг, багно, дощ на об’єктиві, низьке сонце просто в сенсор. Модель, перевірена влітку, перевірена на чверті року.
• Геометрія. Висота, кут і фокусна відстань змінюють кількість пікселів на обʼєкті на порядок, і детектор, навчений на одному масштабі, тихо провалюється на іншому.
• Свідоме приховування. На відміну від майже будь-якого іншого домену, тут хтось активно працює над тим, щоб детекція не спрацювала: укриття, макети, деформувальні патерни. Розподіл не просто інший — його обирає супротивник.
• Гранична незбалансованість класів. Те, що вас цікавить, може траплятися в одному кадрі з пʼятдесяти тисяч, тож модель, що завжди каже «нічого немає», дає 99,998% і не варта нічого.

Практична відповідь не в кращій архітектурі. Вона в конвеєрі даних, що замикає цикл: кожне розгортання записує справжні кадри, процес розбору розмічає цікаві — особливо пропуски й хибні тривоги, — і вони входять до постійного набору оцінок, згрупованого за умовами. Це та сама дисципліна, що й регресійний набір із розділу QA, прикладена до моделі, — і саме вона перетворює польовий досвід на те, що успадкує наступна версія, а не на те, що памʼятає інженер.

Поріг — це рішення політики з названим власником

Детектор не видає «так» чи «ні». Він видає число, і хтось перетворює це число на «так» або «ні», обираючи, де проходить межа. Цей вибір зазвичай робить той, хто налаштовував модель, у вівторок, за валідаційним набором, — і це найвагоміше рішення в системі.

Обидва напрямки помилки мають наслідки, що виходять за межі моделі. Забагато хибних спрацювань — і оператор перестає довіряти сповіщенням; не через недбалість, а через арифметику: потік, що переважно є шумом, неможливо опрацьовувати. Цей збій виглядає людською проблемою, а спричинений числом. Забагато пропусків — і не стається взагалі нічого: ні сповіщення, ні запису, ні зворотного звʼязку, і система тихо звітує про чудову точність, поки те, заради чого вона існує, проходить повз. Із двох гірший другий — саме тому, що він не дає жодного сигналу про проблему.

Ще одна властивість належить цій політиці й зазвичай відсутня: системі потрібен спосіб сказати «не знаю». Детектор, змушений відповідати бінарно на кожному кадрі, впевнено відповість на кадрах, подібних до яких він не бачив ніколи, — а це рівно протилежне до бажаного. Явна смуга непевності — нижче порога сповіщення, вище порога ігнорування, скерована на розбір, а не на оператора — коштує мало, і саме там уперше проступають цікаві збої.

Що треба записати, щоб хибну відповідь можна було розслідувати

Детекцію, яку неможливо відтворити, неможливо розібрати, а система, чиї помилки неможливо розібрати, не покращується — вона накопичує думки про себе. Запис тут обмежений сховищем і тим, що пристрій може не повернутися, тож його треба проєктувати, а не вмикати.

• Кадр або його фрагмент

  Без зображення розслідування немає — є суперечка. Якщо сховище не дозволяє зберігати все, зберігайте детекції й вибірку пропусків, а не рівномірну вибірку нічого конкретного.

• Ідентичність моделі

  Яка версія моделі, які ваги, який поріг, яка попередня обробка. Через пів року саме це відрізняє регресію моделі від зміненого середовища.

• Умови

  Сенсор, висота, кут, час, температура. Саме вони дають потім різати якість за умовами — єдиний корисний спосіб її читати.

• Що зробила людина

  Підтвердила, відхилила, проігнорувала. Це безкоштовно розмічені дані рівно потрібного розподілу, і більшість систем їх викидає.

Остання картка — та, з якою варто щось зробити цього тижня. Рішення операторів є розміченим потоком, породженим саме тим розгортанням, яке вас цікавить, без витрат на анотацію, — і це найкоротший шлях від «система інколи помиляється» до кейса в наборі оцінок. Щоб їх зібрати, інтерфейс має робити «підтвердити» й «відхилити» однаково легкими, а це рішення дизайну в шарі C2, а не в моделі.

Антипатерни, які варто назвати

• Звітувати одне число точності, усереднене по умовах: воно ховає саме ті випадки, заради яких систему будували.
• Міряти на робочій станції й везти в герметичний корпус на сонці, де та сама модель працює втричі повільніше.
• Поріг, обраний тим, хто налаштовував модель, без письмового запису про те, чим пожертвували.
• Немає смуги непевності: детектор упевнено відповідає на входах, подібних до яких не бачив ніколи.
• Викидати підтвердження й відхилення операторів — безкоштовно розмічені дані рівно потрібного розподілу.

Коли це застосовувати

Пов’язані сторінки

• DeftechПЗ для дронівПЗ для дронів — це польотний код на борту безекіпажного апарата разом із наземною частиною, яка ним командує; а сам апарат — це розподілена система, у якій один із вузлів падає з неба, якщо пропустить дедлайн. Цей єдиний факт організує все: який код де працює, чому можна блокуватися, чому дозволено падати і чому цікава частина специфікації — не місія, а те, що станеться, коли зникне звʼязок, позиція чи заряд. Тут — про стек, драбину відмовостійкості, автономність як набір конкретних рішень і про те, чому симуляція є головним тестовим середовищем, а не приємним доповненням.
• DeftechСистеми C2Система командування й управління (C2) — це софт, який перетворює доповіді з багатьох джерел на одну спільну картину, за якою можна діяти; зазвичай її уявляють як мапу. Краще розуміти її як механізм кореляції, до якого прикріплено мапу: доповіді приходять із джерел, що суперечать одне одному, спізнюються, мають різні схеми й часто описують той самий обʼєкт двічі, — і центральна робота системи полягає в тому, щоб вирішити, це одна річ чи дві. Тут — про це рішення, про те, чому час і певність мусять бути полями, а не припущеннями, що стається, коли два вузли втрачають контакт, і чому інженерія зрештою опиняється в інтерфейсі.
• ІнфраструктураModel ServingModel serving — це коли натреновану модель ставлять за інтерфейс, що відповідає на запити. Щойно модель натреновано, її подача — це задача затримки й вартості, а вже потім машинного навчання. Сам інференс зазвичай є найменшою частиною часу відповіді, залізо тут — це залізо для пропускної здатності, від якого просять роботу на затримку, а те, що більшість команд моніторить — точність, — саме те, чого наживо не видно. На цій сторінці — шлях запиту, три форми подачі й чому зазвичай виграє найдешевша, батчинг і правильний сигнал масштабування, як викотити нову версію, не ставлячи на неї все, і за чим стежити, коли правда приходить із запізненням на тижні.