Компʼютерний зір

Дванадцять польових збоїв — і перевірка для кожного

Спершу весь список — бо детектор рідко ламається в лабораторії й дуже часто ламається одним із цих дванадцяти способів у перші місяці в полі. Кожен рядок ставить поруч те, що ви побачите, те, що насправді не так, і перевірку, яка спіймала б це до розгортання. Рядки пронумеровано, щоб на рев’ю можна було сказати «у нас немає перевірки для рядка 8», а розділи нижче посилаються на них за номером.

Інференс живе всередині бюджету, і бюджет — це не памʼять GPU

Обслуговування моделей у дата-центрі оптимізують за пропускною здатністю на долар. На пристрої обмеження інші за природою, а не за ступенем, і три з них узагалі не стосуються обчислень. Загальний матеріал про сервінг живе на сторінках MLOps; далі — лише те, що змінюється.

Рядок 4 вступної таблиці заслуговує на картинку, бо саме там метрика моделювання тихо стає позиційною. Бенчмарк, який наводить більшість команд, — лише інференс, на холодному стенді. Число, що важить, — від затвора до рішення, на справжньому пристрої, після того, як він постояв на сонці.

Рядок 5 теж належить сюди, бо це рішення про бюджет, яке виглядає рішенням моделювання. Стиснення моделі під пристрій — квантування до 8-бітних цілих, компіляція під прискорювач, масштабування входу під те, що любить залізо, — змінює її виходи. Іноді ні на що, іноді настільки, що детекції біля порога перевертаються. Фіксований набір еталонних зображень, проганяний через увесь конвеєр на пристрої й порівнюваний з еталонними виходами на кожній збірці, — найдешевший тест на цій сторінці, і він ловить переплутані канали кольору раніше за політ.

Проблема даних, якої не полагодить жодне навчання

Детектор вивчає той розподіл, який йому показали. У розгортанні він зустрічає інший, і розрив не є випадковим шумом: він систематичний, великий і достатньо передбачуваний, щоб його планувати. Це найбільше джерело польових збоїв у системах зору — рядки 2, 3 і 6, — і воно майже ніколи не є помилкою моделювання.

• Зсув сенсора. Модель, навчена на кольоровому зображенні, не переноситься на тепловізійне, а навчена на одній тепловізійній камері часто не переноситься на іншу. Сенсор є частиною навчальних даних, а не їхньою деталлю.
• Сезон і погода. Листя, сніг, багно, дощ на обʼєктиві, низьке сонце просто в сенсор. Модель, перевірена влітку, перевірена на чверті року.
• Геометрія. Висота, кут і фокусна відстань змінюють кількість пікселів на обʼєкті на порядок, і детектор, навчений на одному масштабі, тихо провалюється на іншому.
• Свідоме приховування. На відміну від майже будь-якого іншого домену, тут хтось активно працює над тим, щоб детекція не спрацювала: укриття, макети, деформувальні патерни. Розподіл не просто інший — його обирає супротивник; це рядок 12.
• Гранична незбалансованість класів. Те, що вас цікавить, може траплятися в одному кадрі з пʼятдесяти тисяч, тож модель, що завжди каже «нічого немає», дає 99,998% і не варта нічого.

Два збої зі списку стосуються самого тесту, а не світу, і саме вони змушують брехати кожне інше число. Рядок 1 — це витік: кадри одного польоту майже однакові, тож поділ кадр за кадром кладе майже-копії по обидва боки, і модель оцінюють на сценах, які вона запамʼятала. Рядок 11 — обхідний шлях: щось у зображенні, що не має стосунку до обʼєкта, — тло, водяний знак, яка камера знімала, — корелює з міткою, і модель вивчає саме це. Ліки для обох — та сама дисципліна. Діліть за польотом, місцем і датою й відкладіть ціле джерело, якого модель не побачить до самого кінця.

Практична відповідь не в кращій архітектурі. Вона в конвеєрі даних, що замикає цикл: кожне розгортання записує справжні кадри, процес розбору розмічає цікаві — особливо пропуски й хибні тривоги, — і вони входять до постійного набору оцінювання, згрупованого за умовами. Це та сама дисципліна, що й регресійний набір із розділу QA, прикладена до моделі, — і саме вона перетворює польовий досвід на те, що успадкує наступна версія, а не на те, що памʼятає інженер.

Поріг — це рішення політики з названим власником

Детектор не видає «так» чи «ні». Він видає число, і хтось перетворює це число на «так» або «ні», обираючи, де проходить межа. Цей вибір зазвичай робить той, хто налаштовував модель, у вівторок, за валідаційним набором, — і це найвагоміше рішення в системі.

Обидва напрямки помилки мають наслідки, що виходять за межі моделі. Забагато хибних спрацювань — і оператор перестає довіряти сповіщенням, рядок 7, — не через недбалість, а через арифметику: потік, що переважно є шумом, неможливо опрацьовувати. Цей збій виглядає людською проблемою, а спричинений числом. Забагато пропусків — і не стається взагалі нічого, рядок 8: ні сповіщення, ні запису, ні зворотного звʼязку, і система тихо звітує про чудову точність, поки те, заради чого вона існує, проходить повз. Із двох гірший другий — саме тому, що він не дає жодного сигналу про проблему.

Арифметику за рядком 7 варто побачити один раз, бо саме вона робить непридатною частку помилок, що звучить пристойно. Коли обʼєкт рідкісний, хибні тривоги беруться майже з кожного кадру, а справжні детекції — майже з жодного, тож навіть мала частка множиться на стіну шуму.

Ще одна властивість належить цій політиці й зазвичай відсутня — рядок 9: системі потрібен спосіб сказати «не знаю». Детектор, змушений відповідати бінарно на кожному кадрі, впевнено відповість на кадрах, подібних до яких він не бачив ніколи, — а це рівно протилежне до бажаного. Явна смуга непевності — нижче порога сповіщення, вище порога ігнорування, скерована на розбір, а не на оператора, — коштує мало, і саме там уперше проступають цікаві збої.

І за однією детекцією рідко діють: кадри зʼєднують у треки, і рядок 10 — це місце, де зʼєднання ламається. Якщо трекер привʼязує обʼєкт до класу, щоразу, коли класифікатор передумує, обʼєкт починається заново без історії, і його шлях неможливо передбачити. Мітка має бути атрибутом треку, який можна переглянути, а не тим, що його визначає, — те саме правило, що сторінка про C2C2Command and control — системи командування й управлінняПЗ, що зводить доповіді з багатьох джерел в одну спільну картину, за якою можна діяти, і несе рішення, ухвалені за нею. Його центральна робота — кореляція: вирішити, чи описують дві доповіді одну річ чи дві, — і тому воно складніше за мапу, якою його зазвичай малюють.Докладніше в статті →Усі терміни формулює для номерів треків.

Що треба записати, щоб хибну відповідь можна було розслідувати

Детекцію, яку неможливо відтворити, неможливо розібрати, а система, чиї помилки неможливо розібрати, не покращується — вона накопичує думки про себе. Запис тут обмежений сховищем і тим, що пристрій може не повернутися, тож його треба проєктувати, а не вмикати.

• Кадр або його фрагмент

  Без зображення розслідування немає — є суперечка. Якщо сховище не дозволяє зберігати все, зберігайте детекції й вибірку кадрів, на яких детектор мовчав, а не рівномірну вибірку нічого конкретного.

• Ідентичність моделі

  Яка версія моделі, які ваги, який поріг, яка попередня обробка. Через пів року саме це відрізняє регресію моделі від зміненого середовища.

• Умови

  Сенсор, висота, кут, час, температура. Саме вони дають потім різати якість за умовами — єдиний корисний спосіб її читати.

• Що зробила людина

  Підтвердила, відхилила, проігнорувала. Це безкоштовно розмічені дані рівно потрібного розподілу, і більшість систем їх викидає.

Остання картка — та, з якою варто щось зробити цього тижня. Рішення операторів є розміченим потоком, породженим саме тим розгортанням, яке вас цікавить, без витрат на анотацію, — і це найкоротший шлях від «система інколи помиляється» до кейса в наборі оцінювання. Щоб їх зібрати, інтерфейс має робити «підтвердити» й «відхилити» однаково легкими, а це рішення дизайну в шарі C2, а не в моделі.

Сім збоїв — і рядок, що покриває кожен

Оборонні програми рідко публікують свої збої, тож задокументовані випадки тут — цивільні. Механізми переносяться точно: детектор не знає, для чого його розгорнули, і кожен із цих випадків — збій даних, порога, трекінгу чи нагляду, а не архітектури моделі.

Де це вироджується

Чесне обмеження кожної перевірки на цій сторінці в тому, що вона міряє детектор на умовах, які хтось здогадався зібрати. Набір оцінювання, розрізаний на дванадцять зрізів, містить лише ці дванадцять; тринадцята умова — новий тип укриття, збій сенсора, погода, якої ніхто не записав, — приходить без попередження, і числа лишаються зеленими, доки вона не прийде. Смуга непевності з рядка 9 і перегляд кадрів, на яких детектор мовчав, із рядка 8 — єдині практики тут, спрямовані на те, чого ніхто не передбачив, і тому вони варті більше, ніж коштують.

• Одне число точності на слайді, усереднене по умовах, яких ніхто не перелічує.
• Тестовий набір, поділений кадр за кадром із тих самих польотів, що й навчальні дані.
• Бенчмарк, зроблений на робочій станції, і наведений для пристрою в герметичному корпусі на сонці.
• Поріг, якого ніхто не має за власника, виставлений у вівторок тим, хто налаштовував модель.
• «Перегляд людиною» потоку тривог, що на девʼяносто шість відсотків є шумом.
• Точність (precision), про яку звітують, жодного разу не глянувши на пропущене.
• Клас, прибраний із продукту, бо модель у ньому помилялася, — а дані лишилися як були.
• Набір оцінювання, зібраний лише зі сцен, що «співпрацюють», для системи, чий вхід обирає хтось інший.
• Оцінка збігу, подана людині як ідентифікація.

Коли це застосовувати

Пов’язані сторінки

• DeftechПЗ для дронівПЗ для дронів — це польотний код безекіпажного апарата й наземне ПЗ, що ним командує, створені, щоб лишатися безпечними, коли зникне звʼязок, позиція чи заряд. Безекіпажний апарат — це розподілена система, у якій один вузол падає з неба, якщо пропустить дедлайн, і цей єдиний факт вирішує, який код де працює, що може блокуватися і чому дозволено падати. Сторінка починається з чеклиста готовності до польоту на двадцять пʼять рядків; далі — стек як ієрархія дедлайнів, драбина фейлсейфів як справжня специфікація, рішення про повернення як розрахунок енергії, автономність як список рішень, симуляція як тестове середовище і сім задокументованих аварій.
• DeftechСистеми C2Система командування й управління (C2) — це софт, який зводить доповіді з багатьох джерел в одну спільну картину, за якою можна діяти. Краще розуміти її як механізм кореляції з прикріпленою мапою, чия центральна робота — вирішити, одна річ описана у двох доповідях чи дві. Сторінка починається з чеклиста спільної картини на двадцять пʼять рядків; далі — кореляція, два часи й годинник, які несе кожен запис, що стається, коли два вузли втрачають контакт, сумісність як вимога, людина в контурі як властивості, які можна перевірити, і сім задокументованих збоїв.
• ІнфраструктураModel ServingModel serving — це коли натреновану модель ставлять за інтерфейс, що відповідає на запити. Щойно модель натреновано, її подача — це задача затримки й вартості, а вже потім машинного навчання. Сам інференс зазвичай є найменшою частиною часу відповіді, залізо тут — це залізо для пропускної здатності, від якого просять роботу на затримку, а те, що більшість команд моніторить — точність, — саме те, чого наживо не видно. На цій сторінці — шлях запиту, три форми подачі й чому зазвичай виграє найдешевша, батчинг і правильний сигнал масштабування, як викотити нову версію, не ставлячи на неї все, і за чим стежити, коли правда приходить із запізненням на тижні.