Задача распознавания спама

Содержание

• Цель исследования
• Описание примера
• 1. Анализ с помощью МАР – сплайнов
• 2. Анализ с помощью растущих деревьев классификации и регрессии
• Вывод

Цель исследования

Построить автоматический распознаватель спама, т. е. устройство, которое бы предотвращало засорение электронного почтового ящика спамом, путем его распознавания и удаления.

Задача состоит в том, чтобы построить хорошую предиктивную (предсказательную) модель, на основе имеющихся данных.

Заметим, что нельзя дать точное определение спама и поэтому в каждом случае классификатор нужно настраивать индивидуально.

Для решения данной задачи мы используем STATISTICA Data Miner.

Данные для примера были собраны администраторами Hewlett-Packard Support.

Описание примера

Описание таблицы исходных данных

Число наблюдений 4601, из которых спам составлял 39.4% (1813 сообщений было спамом)

 Общее число переменных: 58, из которых 57 непрерывных предикторов, и одна – категориальная (индикатор того, является сообщение спамом или нет). 

Предикторы показывают, как часто появляется данное слово или символ в электронном письме. Переменные 55-57 показывают характеристики длины последовательности непрерывных последовательностей заглавных букв.

Описание переменных

Эти предикторные переменные характеризуют спам. Очевидно, можно использовать другие параметры.

48 непрерывных вещественных [1, 100] переменных типа word_freq_WORD = процентному отношению слов WORD в письме, т. е. 100*(число появлений слова WORD в данном письме к общему числу слов).  

6 непрерывных вещественных [1, 100] переменных типа char_freq_CHAR= процентному отношению появления символов CHAR в письме, к общему количеству символов в письме. 

1 непрерывная вещественная [1, …] переменная типа capital_run_length_average= средней длине непрерывной последовательности заглавных букв. 

1 непрерывная целая [1, …] переменная типа capital_run_length_longest= наибольшей длине непрерывной последовательности заглавных букв 

1 непрерывная целая [1, …] переменная типа capital_run_length_total= суммарное число заглавных букв в письме. 

Описательные статистики

Имена переменных

• 1 word_freq_make: continuous.
• 2 word_freq_address: continuous. 
• 3 word_freq_all: continuous. 
• 4 word_freq_3d: continuous. 
• 5 word_freq_our: continuous. 
• 6 word_freq_over: continuous. 
• 7 word_freq_remove: continuous. 
• 8 word_freq_internet: continuous. 
• 9 word_freq_order: continuous. 
• 10 word_freq_mail: continuous. 
• 11 word_freq_receive: continuous. 
• 12 word_freq_will: continuous. 
• 13 word_freq_people: continuous. 
• 14 word_freq_report: continuous. 
• 15 word_freq_addresses: continuous. 
• 16 word_freq_free: continuous. 
• 17 word_freq_business: continuous. 
• 18 word_freq_email: continuous. 
• 19 word_freq_you: continuous. 
• 20 word_freq_credit: continuous. 
• 21 word_freq_your: continuous. 
• 22 word_freq_font: continuous. 
• 23 word_freq_000: continuous.
• 24 word_freq_money: continuous. 
• 25 word_freq_hp: continuous. 
• 26 word_freq_hpl: continuous. 
• 27 word_freq_george: continuous. 
• 28 word_freq_650: continuous.
• 29 word_freq_lab: continuous.
• 30 word_freq_labs: continuous. 
• 31 word_freq_telnet: continuous. 
• 32 word_freq_857: continuous. 
• 33 word_freq_data: continuous. 
• 34 word_freq_415: continuous. 
• 35 word_freq_85: continuous.
• 36 word_freq_technology: continuous. <
• 37 word_freq_1999: continuous. 
• 38 word_freq_parts: continuous.
• 39 word_freq_pm: continuous. 
• 40 word_freq_direct: continuous. 
• 41 word_freq_cs: continuous. 
• 42 word_freq_meeting: continuous. 
• 43 word_freq_original: continuous. 
• 44 word_freq_project: continuous. 
• 45 word_freq_re: continuous. 
• 46 word_freq_edu: continuous. 
• 47 word_freq_table: continuous. 
• 48 word_freq_conference: continuous. 
• 49 char_freq_;: continuous. 
• 50 char_freq_(: continuous. 
• 51 char_freq_[: continuous. 
• 52 char_freq_!: continuous. 
• 53 char_freq_$: continuous. 
• 54 char_freq_#: continuous. 
• 55 capital_run_length_average: continuous. 
• 56 capital_run_length_longest: continuous. 
• 57 capital_run_length_total: continuous.

Следующая таблица показывает предикторы, значения которых наиболее сильно различаются в группах spam и email; в каждой ячейке указано среднее значение соответствующего предиктора в соответствующей группе.

Приведем столбчатые диаграммы для некоторых переменных: 

Var 27- word_freq_george

 Рис. 1. Столбчатая диаграмма для переменной Var 27- word_freq_george 

 Var 25 – word_freq_hp

 Рис. 2. Столбчатая диаграмма для переменной Var 25 – word_freq_hp  

Построим предиктивную модель с помощью двух подходов: МАР – сплайнов и растущих деревьев классификации и регрессии.

1. Анализ с помощью МАР – сплайнов

Здесь мы покажем, что варьируя параметры модели мы достигаем большей точности. Расчеты проводятся для двух наборов параметров. 

Шаг 1. Зайдите в меню Анализ/Добыча данных/ МАР, задайте переменные для анализа. 

Шаг 2. Задайте параметры модели и выполните анализ. 

В параметры модели входит число базисных функций, порядок взаимодействий, штраф, порог. За подробным разъяснением этих параметров обращайтесь к технической документации.

Шаг 3. Теперь просмотрим результаты анализа. 

При следующих значениях параметров модели:

Макс. число базисных функций = 30

Порядок взаимодействий = 10

Штраф = 2

Порог = 0.0005

Матрица классификаций имеет вид:

Качественно можно посмотреть на гистограмме:

При других значениях параметров модели:

Макс. число базисных функций = 70

Порядок взаимодействий = 40

Штраф = 2

Порог = 0.0005

Матрица классификаций имеет вид:

2. Анализ с помощью растущих деревьев классификации и регрессии

Теперь просмотрим результаты анализа классификации для данного метода.

Вывод

Для МАР–сплайнов, в первом случае, точность предсказания (число правильно предсказанных наблюдений к общему числу наблюдений) равна 93,3%, а во втором – 94,5%.

Нужно отметить, что время счета различалось на порядок: в первом случае, мы получаем время выполнения порядка нескольких минут, а во втором – несколько десятков минут, т. е. мы сталкиваемся с известной проблемой увеличения на порядки вычислительных ресурсов при повышении точности вычислений на проценты. Таким образом, в нашем случае точность расчетов при разумном времени примерно равна 93%.

Для растущих деревьев классификации мы получаем точность предсказания примерно равную 5%, при времени счета порядка нескольких минут и стандартных настройках.

В начало