Дата-платформи

Дванадцять способів, якими відʼєднана платформа губить дані, — і рішення для кожного

Спершу весь список — бо відʼєднана платформа рідко ламається в лабораторії й зазвичай ламається одним із цих дванадцяти способів у перші місяці в полі: тихо, з усіма дашбордами зеленими. Кожен рядок ставить поруч те, що ви побачите, те, що насправді сталося, і рішення, яке це відвертає. Рядки пронумеровано, щоб на рев’ю можна було сказати «для рядка 9 у нас нічого немає», а розділи нижче посилаються на них за номером.

Зберегти й переслати — і черга, що робить це проєктуванням

«Зберегти й переслати» — річ давня й проста: запиши там, де ти є, надішли, коли зможеш. Проєктуванням, а не буфером, це робить те, що стається, коли черга більша за вікно, — а це нормальний випадок, а не виняток.

Порахуйте один раз — і суть стане очевидною. Сорокасекундне вікно на девʼяти кілобітах на секунду переносить близько сорока пʼяти кілобайтів. Критична подія важить два кілобайти й іде щоразу. Оновлення треків — сорок кілобайтів і йдуть здебільшого. Відео — девʼятсот мегабайтів, і цим каналом воно не піде ніколи, — і це проєктний факт, який вирішують наперед, а не несподіванка, яку виявляють у полі. Відео їде на фізичному носії, коли платформа повернеться, або зводиться на борту до чогось, що вміщається, або не їде взагалі.

Це рішення — таблиця, яку хтось має написати, клас за класом. Розміри нижче умовні; стовпці — ні. Стовпець, який зазвичай пропускають, — термін придатності, і саме про нього рядок 3: оновлення позиції варте надсилання лише доти, доки немає новішого, тож стан має заміщувати сам себе в черзі, а не чекати своєї черги позаду самого себе.

Та сама логіка стосується власного сховища вузла — воно теж черга. Вузол, що тиждень без звʼязку, заповнює диск, і без бюджету першим зникає те, що надійде наступним, — часто саме тривога. Дайте кожному класу бюджет сховища: рутинні дані витісняються від найстаріших, критичні — ніколи, і кожне витіснення рахують, щоб «ми відкинули 4 000 оновлень позиції» було рядком у звіті, а не відкриттям.

Приймальний бік припускає, що його обірвуть

Оскільки вікно закривається без попередження, кожна передача може завершитися наполовину, а відновлене зʼєднання може бути іншим, з іншого вузла й не в тому порядку. Тож проєктне питання — не перше вікно, а друге: що стається із записами, які були в дорозі, коли перше закрилося. Це рядки 2 і 4, і три поширені відповіді намальовано нижче.

Чотири властивості роблять обрив переживним, і всі чотири дешево закласти й боляче додати згодом.

Разом вони роблять протокол синхронізації обміном незмінними фактами, а не узгодженням змінюваного стану, — а це помітно простіше зробити правильно. Це також та властивість, від якої залежить шар C2C2Command and control — системи командування й управлінняПЗ, що зводить доповіді з багатьох джерел в одну спільну картину, за якою можна діяти, і несе рішення, ухвалені за нею. Його центральна робота — кореляція: вирішити, чи описують дві доповіді одну річ чи дві, — і тому воно складніше за мапу, якою його зазвичай малюють.Докладніше в статті →Усі терміни, — рядок 3.1 його чеклиста: журнал доповідей лише на дозапис, а не дифф треків. Кореляцію можна перезапустити на обʼєднанні побаченого обома сторонами лише тоді, коли обидві зберегли побачене як записи, а не як поточне значення.

Що їде з кожним записом

Кожне з цих полів виглядає метаданими, і кожне вирішує щось структурне. Додати будь-яке згодом — це міграція через кожного виробника, кожне сховище й кожного споживача, тож їм місце в першій схемі. Читайте останній стовпець як причину: кожне поле тут тому, що без нього стається рядок зі вступної таблиці.

Саме класифікація дивує інженерів, бо вона переносить юридичне питання в архітектуру. Якщо категорія записів не може покинути юрисдикцію чи не може лежати на спільному сервісі, це обмеження вирішує, де живе сховище, як маршрутизується синхронізація і які керовані продукти вам доступні, — і вирішує це раніше за будь-які міркування продуктивності. І це властивість не лише окремих записів. У січні 2018 року публічна теплова карта фітнес-застосунку, зібрана з мільярда нешкідливих пробіжок, виявилася картою маршрутів військових довкола баз, планування яких не було публічним. Платформа, що класифікує запис за записом, потребує й правила для сукупностей, а застосовувати його треба там, де таку сукупність будують, — на вивантаженні.

Зберігання ріже в обидва боки — це рядок 9. Видалення тут є обовʼязком, який хтось перевірить, а не способом зменшити рахунок за сховище, і воно має дістати до копії на пристрої, якого ви можете більше не побачити, — тож правило їде разом із записом, а пристрій виконує його сам. Резервні копії й архіви — частина, про яку зазвичай забувають; шифрувати кожен період зберігання власним ключем і знищувати ключ, коли період спливає, — так видалення дістає до копій, яких ніхто не може перелічити. Друга половина не менш реальна: у січні 2021 року хибна щотижнева задача видалення в британській Police National Computer прибрала сотні тисяч записів, які мала лишити. Прогін видалення заздалегідь переглядають, журналюють, і його можна скасувати протягом пільгового строку, перш ніж він стане остаточним.

Доказ — це результат роботи: що система знала і коли

У цій галузі показати, що щось працює, — окремий результат роботи з власною оцінкою трудовитрат: протоколи тестів, простежуваність від кожної вимоги до тесту, що її доводить, аргумент, чому безпекове обґрунтування тримається. Дата-платформа несе той самий обовʼязок після події. Коли щось іде не так, питання ніколи не звучить як «що правда зараз». Воно звучить як «що система знала в певний момент, що вона показала людині, яка діяла, і чи хтось відтоді змінював цей запис».

Механізм — два часи на кожному записі, це рядок 11. Час події — коли щось сталося; час запису — коли платформа про це дізналася. Зберігайте обидва, ніколи не оновлюйте на місці — і «станом на 14:02» стає звичайним запитом, а не неможливим. SQL:2011 стандартизував обидва види часу в таблицях, і кілька баз даних це реалізують; журнал лише на дозапис із двома мітками часу дає ту саму властивість, не залежачи від жодної з них.

Двадцять років форматів

Десять–двадцять років служби тут норма, і це змінює кожне рішення про формат даних. Записи, які система пише в перший рік, мають бути читними в останній — ПЗ, якого ще не написано, і людьми, які ніколи не бачили початкової програми. Схема дає цьому числа: за політиками самих виробників усе, що читає дані, замінять кілька разів, поки дані лежатимуть на місці.

Повчальна історія — з 1986 року. BBC відзначила 900-річчя Книги Страшного суду цифровим описом Британії на лазерних дисках, які могла читати лише одна конкретна конфігурація компʼютера. До 2002 року робоче обладнання стало таким рідкісним, що вміст довелося рятувати емуляцією. Сама Книга Страшного суду, написана 1086 року, весь цей час лишалася читною.

• Відкриті, задокументовані формати з опублікованою специфікацією — не внутрішній файл одного продукту й не те, що випадково серіалізує поточна бібліотека.
• Схема їде разом із даними або на неї посилаються за версією, тож файл пояснює себе без програми, що його записала.
• Схеми розвиваються за правилами, які витримує старіший читач: поля додають, але ніколи не перепризначають, а невідоме поле зберігають, а не відкидають.
• Зразок кожної версії схеми архівують, і новий читач читає його на кожному релізі, — рядок 12 у вигляді тесту.
• Носії мігрують за графіком, поки приводи для них ще легко купити, а не тоді, коли відмовить останній.

Сім випадків — і рядок, якого вчить кожен

Збої даних в оборонці публікують рідко, тож ці випадки цивільні — з тієї ж причини, що й на сторінці про компʼютерний зір; механізми переносяться один в один. Два із семи — про дані, що вціліли, а не зникли, бо це друга половина уроку: слідчі мали те, що записали локально, або те, що було досить малим, щоб піти першим.

Де це вироджується

Чесне обмеження в тому, що «зберегти й переслати» вирішує лише порядок утрат. Вузол, знищений до свого вікна, утрачає все, що тримав; черга за пріоритетом вирішує лише те, які записи вже встигли піти. Ніщо в платформі не поверне спостереження, якого не записали, і жодна черга не змусить канал на девʼять кілобіт нести відео. Чесний дизайн письмово каже, що втрачається першим, коли все йде не так, замість натякати, що не втрачається нічого.

• Класи пріоритету, де кожен виробник позначає свої записи як критичні, — і черга тихо знову стає «перший прийшов — перший пішов».
• «Офлайн-режим», перевірений тим, що кабель висмикнули на пʼять хвилин.
• Поля походження, що є в схемі й у більшості рядків кажуть «невідомо».
• Усе класифіковане за найвищим рівнем, тож нічим не можна поділитися, і люди копіюють дані вручну.
• Лише дозапис у базі — і задача вивантаження, що перезаписує.
• Політика зберігання, що існує як документ і не виконується ніде, а найменше на пристроях.
• Архів, який ніхто не читав відтоді, як його записали.
• Дашборд синхронізації, що показує частку успіхів, але не кількості, — тож передача, яка загубила половину рядків, звітує про успіх.
• «Зберігати все назавжди», подане як обережність, хоча це рішення про зберігання, якого ніхто не ухвалював.

Коли це застосовувати

Пов’язані сторінки

• DeftechСистеми C2Система командування й управління (C2) — це софт, який зводить доповіді з багатьох джерел в одну спільну картину, за якою можна діяти. Краще розуміти її як механізм кореляції з прикріпленою мапою, чия центральна робота — вирішити, одна річ описана у двох доповідях чи дві. Сторінка починається з чеклиста спільної картини на двадцять пʼять рядків; далі — кореляція, два часи й годинник, які несе кожен запис, що стається, коли два вузли втрачають контакт, сумісність як вимога, людина в контурі як властивості, які можна перевірити, і сім задокументованих збоїв.
• DeftechКібербезпекаКібербезпека оборонної системи — це проєктні рішення, що лишають її надійною проти фінансованого, терплячого супротивника, який може тримати сам пристрій. Звичайна безпека застосунків припускає випадкового зловмисника по той бік мережевої межі й патч, що виходить у вівторок; тут межа зрештою падає повністю, а патч може йти до пристрою місяцями. Сторінка починається з чеклиста живучості на двадцять пʼять рядків; далі — модель загроз і те, що вона приймає, захоплений пристрій, ланцюг завантаження й шлях оновлення, ланцюг постачання, двадцять років служби, вісім задокументованих компрометацій і те, де практика перетворюється на театр.
• DeftechПЗ для дронівПЗ для дронів — це польотний код безекіпажного апарата й наземне ПЗ, що ним командує, створені, щоб лишатися безпечними, коли зникне звʼязок, позиція чи заряд. Безекіпажний апарат — це розподілена система, у якій один вузол падає з неба, якщо пропустить дедлайн, і цей єдиний факт вирішує, який код де працює, що може блокуватися і чому дозволено падати. Сторінка починається з чеклиста готовності до польоту на двадцять пʼять рядків; далі — стек як ієрархія дедлайнів, драбина фейлсейфів як справжня специфікація, рішення про повернення як розрахунок енергії, автономність як список рішень, симуляція як тестове середовище і сім задокументованих аварій.