Пошук, фільтрація і систематизація
При плануванні аналітичної роботи над природними явищами, в системах стільникового зв’язку, в галузі управління перевезеннями вантажів наземним, морським або повітряним транспортом необхідно потоки «сирої» інформації фіксувати у базах даних, що викликає збільшення їх обсягу.
Фіксуючи тільки результат попередньої обробки, можна щось упустити або втратити. У випадках, коли виконується робота з джерелами даних, які характеризуються сталістю, доцільно орієнтуватися на розробку механізмів пошуку і фільтрації.
У першому випадку центр тяжіння переноситься на обробку потоку інформації, у другому випадку, робота розподіляється на дві складові:
- уточнення списку джерел інформації;
- вибірка потрібної інформації в той момент часу, коли вона потрібна.
Оптимізація алгоритмів пошуку і вибірки – це супутня завдання. Характерна риса другого варіанту: в базу даних можуть бути додані дублікати. Щоб уникнути цього, доцільно кожному новому даного присвоювати унікальний код, який визначається його «тілом», наприклад, функція MD5() в мові PHP дає унікальний 32-х байтний код за будь-якої послідовності даних.
Рядок відомостей, що поміщається в базу даних, можливо, буде відрізнятися. Наприклад, рядок товару: найменування, вартість і характеристики. Ці три позиції завжди унікальні, але якщо взяти час надходження товару або зміна його кількості, можна додати в базу даних непотрібні дублікати.
Систематизація інформації – завжди проблема. Програма – не людина. Те, що очевидно людині не є «очевидним» для програми. Зазвичай проблему систематизації інформації вирішують на етапі технічного завдання, а після здачі веб-ресурсу в експлуатацію виникає проблема, як змінити систему, наприклад:
- категорії товарів;
- види товарів;
- моделі або типи;
- найменування постачальників, і т. д.
Оригінальне і практичне рішення – будувати фільтр пошуку і алгоритм систематизації даних на підставі відомостей. Наприклад: отримана вибірка – виконаний алгоритм – є таблиця результатів. Робота з пошуку, фільтрації та систематизації йде в циклі.
Як тільки з’явилася перша таблиця результатів, по ній запускається наступний алгоритм, який шукає аналогії, виконує узагальнення, формує категорії. Перша таблиця результату трансформується в кілька систематизованих таблиць, в кінцевому підсумку цикл первинної обробки доповнюється циклом безперервної роботи по узагальненню вже отриманої інформації.
