70-х роках минулого століття широко застосовувалася практика, коли компанії наймали аналітиків з бізнесу, котрі, використовуючи статистичні пакети подібні SAS і SPSS, виконували аналіз трендів даних і проводили їх кластерний аналіз. Як тільки стало технологічно можливим і доцільним зберігати великі обсяги даних, менеджери виявили бажання самим мати доступ до даних, подібних тим, що генеруються в пам’яті касового апарата роздрібної торгівлі й аналізувати їх. Запровадження штрихових кодів і глобальна гіпертекстова система Інтернету також зробили реальною можливість для компаній збирати великі обсяги нових даних. Однак у зв’язку з цим виникло питання про інструментальні засоби добування корисної інформації з нагромаджених обсягів «сирих» даних. Ці засоби опісля отримали назву «Data Mining» (дейтамайнінг). Слід зауважити, що протягом багатьох років компанії проводили статистичні дослідження своїх даних. Коли статистик аналізує дані, то він спочатку висуває гіпотезу про можливий зв’язок між певними даними, а потім посилає запит до бази даних і використовує відповідні статистичні методи, щоб довести або спростувати сформульовану гіпотезу. Це підхід називається «режимом верифікації» («verification mode»). На противагу йому програмне забезпечення дейтамайнінгу функціонує в «режимі відкриття» (discovery mode), тобто виявляє приховані, часто невідомі для користувачів шаблони (patterns) зв’язків між даними, а не аналізує наперед створену гіпотезу щодо них. За останні роки надзвичайно зріс інтерес до дейтамайнінгу з боку ділових користувачів, котрі вирішили скористатися перевагами даної технології для отримання конкурентної переваги в бізнесі (див. http://www.datamining.com/). Зростаюча зацікавленість щодо впровадження дейтамайнінгу (ДМ) у результаті закінчилася появою низки комерційних продуктів, кожен з яких має таку саму назву, описаний низкою подібних елементів, але фактично має неоднакові функціональні можливості й ґрунтується на різних особливих технічних підходах. Менеджери з інформаційних технологій, що мають завдання підібрати відповідну СППР, часто безпосередньо зустрічаються зі складними питаннями стосовно реагування на потреби бізнес-користувачів через те, що засадні принципи створення дейтамайнінгу набагато складніші, ніж традиційні запити і формування звітів, крім того, вони відчувають підсилений тиск щодо часу реалізації потреб користувачів, тобто користувачі вимагають розробити дейтамайнінг якомога швидше. Проте очевидною перешкодою для розроблення і впровадження в корпораціях рішень з дейтамайнінгу є наявність багатьох різних підходів до нього, що мають свої певні властивості й переваги, у той час як фактично тільки кількома основними методами формуються основи більшості систем ДМ. У цьому контексті важливою є однозначна інтерпретація самого поняття дейтамайнінгу. Дейтамайнінг (Data mining) — це тип аналітичних додатків, які підтримують рішення, розшукуючи за прихованими шаблонами (patterns) інформацію в базі даних. Цей пошук може бути зроблений або користувачем (тобто тільки за допомогою виконання запитів) або інтелектуальною програмою, яка автоматично розшукує в базах даних і знаходить важливі для користувача зразки інформації. Відповіді на інформаційні запити подаються в бажаній для користувача формі (наприклад, у вигляді діаграм, звітів тощо). Англомовний термін «Data mining» часто перекладається як «добування даних»; «добування знань»; «добування інформації»; «аналіз, інтерпретація і подання інформації зі сховища даних»; «вибирання інформації із масиву даних». У даній книзі буде використовуватися як основний термін «дейтамайнінг» — україномовна транскрипція початково запровадженого і однозначно вживаного в англомовній літературі терміна «Data mining». Добування даних — це процес фільтрування великих обсягів даних для того, щоб підбирати відповідну до контексту задачі інформацію. Вживається також термін «Data surfing» (дослідження даних в Інтернеті). Корпорація IBM визначає ДМ, як «процес екстракції з великих баз даних заздалегідь невідомої, важливої інформації, що дає підстави для дій та використання її для розроблення критичних бізнесових рішень». Інші визначення не пов’язують ні з обсягом бази даних, ні з тим, чи використовується підготовлена інформація в бізнесі, але переважно ці умови загальні. Інструментальні засоби добування даних використовують різноманітні методи, включаючи доказову аргументацію(case-based reasoning), візуалізацію даних, нечіткі запити й аналіз, нейромережі та інші. Доказову аргументацію (міркування за прецеден- тами) застосовують для пошуку записів, подібних до якогось певного запису чи низки записів. Ці інструментальні засоби дають змогу користувачеві конкретизувати ознаки подібності підібраних записів. За допомогою візуалізації даних можна легко і швидко оглядати графічні відображення інформації в різних аспектах (ракурсах). Ці та інші методи частково були розглянуті раніше, а детальніше будуть розглянуті далі. Дейтамайнінг як процес виявлення в загальних масивах даних раніше невідомих, нетривіальних, практично корисних і доступних для інтерпретації знань, необхідних для прийняття рішень у різних галузях людської діяльності, практично має нічим не обмежені сфери застосування. Але, насамперед, методи ДМ нині більше всього заінтригували комерційні підприємства, що створюють проекти на основі сховищ даних (Data Warehousing), хоча наявність сховища даних не є обов’язковою умовою здійснення дейтамайнінгу. Досвід багатьох таких підприємств свідчить, що рівень рентабельності від застосування дейтамайнінгу може досягати 1000 %. Наприклад, відомі повідомлення про економічний ефект, за якого прибутки у 10—70 раз перевищували первинні витрати, що становили від 350 до 750 тис. дол. Є відомості про проект у 20 млн дол., який окупився всього за 4 місяці. Інший приклад — річна економія 700 тис. дол. за рахунок упровадження дейтамайнінгу в мережі універсамів у Великобританії. Дейтамайнінг являє собою велику цінність для керівників і аналітиків у їх повсякденній діяльності. Ділові люди усвідомили, що за допомогою методів ДМ вони можуть отримати відчутні переваги в конкурентній боротьбі. Описання інших успішних прикладів застосування дейтамайнінгу можна знайти в літературі [39]. Доступне програмне забезпечення дейтамайнінгу Як уже зазначалося, нині на ринку програмних продуктів пропонуються десятки готових до використання систем дейтамайнінгу, причому деякі з них орієнтовані на широке охоплення технологічних засобів дейтамайнінгу, а інші ґрунтуються на специфічних методах (нейромережах, деревах рішень тощо). Охарактеризуємо найновіші системи ДМ з низкою різних підходів і методів дейтамайнінгу — PolyAnalyst, MineSet, KnowlengeSTUDIO. Вузькоорієнтовані на специфічні способи добування даних системи ДМ будуть згадуватися за ідентифікації найпоширеніших методів дейтамайнінгу в наступних параграфах даного розділу. PolyAnalyst Компанія «Мегап’ютер» виробляє і пропонує на ринку сімейство продуктів для дейтамайнінгу — PolyAnalyst. Система PolyAnalyst призначена для автоматичного і напівавтоматичного аналізу числових баз даних і добування із загальних масивів даних практично корисних знань. PolyAnalyst відшукує багатофакторні залежності між змінними в базі даних, автоматично будує і тестує багатовимірні нелінійні моделі, що виражають знайдену залежність, виводить класифікаційні правила на навчальних прикладах, знаходить у даних багатовимірні кластери та будує алгоритми прийняття рішень. Нині PolyAnalyst використовується в більш ніж 20 країнах світу для розв’язання задач з різних галузей людської діяльності: бізнесу, фінансів, науки, медицини. Зараз це одна із самих потужних і в той же час доступних за ціною комерційних систем для дейтамайнінгу. Основу PolyAnalyst утворюють так звані машини досліджень (Exploration engines), тобто програмні модулі, що ґрунтуються на різних алгоритмах ДМ і призначені для автоматичного аналізу даних. Остання версія PolyAnalyst 4.3 містить 11 машин досліджень. MineSet — візуальний інструмент аналітика Компанія «Silicon Graphics» розробила систему дейтамайнінгу — MineSet, яка відрізняється специфічними особливостями як на концептуальному, так і на технологічному рівнях. Акцент при цьому робиться на унікальну процедуру візуальної інтерпретації складних взаємозв’язків у багатовимірних даних. Система MineSet являє собою інструментарій для поглибленого інтелектуального аналізу даних на базі використання потужної візуальної парадигми. Характерною особливістю MineSet є комплексний підхід, що адаптує застосування не однієї, а кількох взаємодоповнюючих стратегій добування, аналізу й інтерпретації даних. Це дає користувачеві можливість вибирати найвідповідніший інструмент або ряд інструментів залежно від розв’язуваної задачі і видів використовуваних програмно-апаратних засобів. Архітектура MineSet має принципово відкритий характер — використовуючи стандартизований файловий формат, інші додатки можуть постачати дані для введення в MineSet, а також використовувати результати її роботи. Відкрита архітектура системи — це і основа для майбутнього її розширення, що передбачає можливість вбудовування нових компонентів на основі концепції інтеграції (plug-in). У свою чергу, інтерфейс прикладного програмування (API) дає змогу інкорпорувати елементи MineSet в автономні додатки. KnowledgeSTUDIO KnowledgeSTUDIO є новою версією дейтамайнінгу корпорації з програмного забезпечення «ANGOSS» (http://www.angoss. com/). Система впроваджує найрозвинутіші методи ДМ у корпоративне середовище з тим, щоб підприємства могли досягати максимальної вигоди від своїх інвестицій у дані. Вона забезпечує високу продуктивність користувачів щодо розв’язання ділових проблем без суттєвих зусиль на навчання, як це, наприклад, потрібно для освоєння статистичного програмного забезпечення. Крім того, це також потужний інструментальний засіб для аналітиків. KnowledgeSTUDIO сумісна з основними статистичними пакетами програм. Наприклад, ця система не тільки читає і записує файли даних, але також і генерує коди статистичного пакета SAS. Із такими властивостями стосовно статистики моделювальники можуть швидко й легко адаптувати успадковані статистичні аналізи. Система KnowledgeSTUDIO тісно інтегрується зі сховищами і вітринами даних. У такому разі дані можуть добуватися в ре- жимі In-place Mining, тобто коли вони залишаються у вітрині або сховищі даних «на місці», автоматично використовуючи для цього «хвилі запитів», тобто серію тверджень SQL. Завдяки тому, що дані отримуються безпосередньо від джерела, дублювання не потребується. Альтернативно, з метою оптимізації ДМ дані можна вибирати з їх форматом зберігання, а потім дейтамайнінг виконується сервером високої продуктивності, який орієнтований на формат файлів KnowledgeSTUDIO.
Технологія ДМ ANGOSS ActiveX інтегрує моделі для прогнозування з Web-базовими додатками і бізнесовими клієнт/серверними додатками. Дослідження даних за допомогою використання дерев рішень і графіки може бути розширене через Інтранет і Iнтернет. Можна також застосовувати Java-розв’язування для розгортання моделей. Для виконання алгоритмів обчислення в проекті KnowledgeSTUDIO передбачено використання або віддаленого «обчислювального» сервера, або локальної робочої станції.
У KnowledgeSTUDIO реалізована велика кількість методів дейтамайнінгу. Пропонується п’ять алгоритмів дерев рішень, три алгоритми нейромереж і алгоритм кластеризації «неконтрольованого навчання» (unsupervised). Має місце повне інтегрування з додатками і бізнесовими процесами. Можна створювати нові додатки або вставляти дейтамайнінг у наявні додатки. Програмований комплекс KnowledgeSTUDIOSoftware (SDK) надає можливість розроблення додатків, наприклад створення моделей для прогнозування, з можливим використанням Visual Basic, PowerBuilder, Delphi, C++, або Java. Формування, випробування і оцінювання нових моделей може бути також автоматизованим. KnowledgeSTUDIO забезпечує різні шляхи, щоб візуально виразити і дослідити у великих базах даних зразки прихованих закономірностей.
