Що таке справді великі дані? Поговорімо про це сьогодні!
Поняття big data вперше з’явилося в астрономії та геноміці на початку 2000-х років. У цих галузях виникали великі масиви даних. Їх неможливо було ефективно й недорого обробляти за допомогою традиційної централізованої або вертикально масштабованої архітектури.
Горизонтально масштабована архітектура використовує для одночасної обробки даних тисячі або десятки тисяч процесорів. Проєктам цифрової трансформації потрібна можливість працювати з big data обсягом у петабайти (1 петабайт — 1015 (квадрильйон) байтів). Обсяг — не єдина характеристика big data.
Зрештою, понад 20 мільярдів під’єднаних до інтернету смартфонів, датчиків та інших пристроїв генерують постійно зростаючий потік даних, річні обсяги якого вимірюють зетабайтами (1 зетабайт даних поміститься на 250 мільярдах DVD-дисків). Сьогодні компанії можуть робити висновки на основі доступних даних майже в режимі реального часу.
Можливість застосовувати штучний інтелект для обробки всього обсягу необроблених даних призвела до ще однієї зміни. Тепер експерти більше не потрібні, щоб формулювати гіпотези й пояснювати причини тих чи інших подій.
Тепер алгоритми ШІ здатні навчатися самостійно й будувати гіпотези щодо подій на основі даних, отриманих із цих систем.
Наприклад, щоб визначити причину прострочення платежів за іпотекою, більше не потрібен досвідчений фахівець із кредитування. Завдяки аналізу всіх доступних даних про несплату іншими клієнтами система може з високим ступенем достовірності вивчити причини та їхню відносну важливість.
Це явище має далекосяжні наслідки. Щоб виявити несправність двигуна, більше не потрібен досвідчений механік. Щоб виявити початкову стадію діабету в пацієнта, більше не потрібен досвідчений лікар. Щоб визначити оптимальне місце для буріння нафтової свердловини, більше не потрібен інженер-геолог.
Усе це комп’ютер може дізнатися з даних — значно швидше й точніше.
Поява машинного навчання в поєднанні з необмеженою обчислювальною потужністю породила новий клас алгоритмів, які розв’язують проблеми, що колись вважалися нерозв’язними. Наприклад, оцінювання ризику поломки авіаційного двигуна. Визначивши всі важливі вхідні дані (години нальоту, умови польоту, записи про технічне обслуговування, температуру двигуна, тиск оливи) і вибравши достатньо велику кількість випадків поломки двигуна (тобто вихідні дані), алгоритм не лише попередить про поломку, а й визначить її причини. Для цього не потрібно бути фахівцем із матеріалознавства чи термодинаміки. Достатньо лише потрібних даних у великому обсязі.