НАУКА И ОБРАЗОВАНИЕ В XXI ВЕКЕ28.02.2018
	КАНН С.К. (ГПНТБ СО РАН, Новосибирск) ВЛИЯНИЕ ФИЛЬТРАЦИИ РЕФСПАМА НА ПОКАЗАТЕЛИ ПОСЕЩАЕМОСТИ БИБЛИОТЕЧНОГО САЙТА

Создатели сайтов с диверсифицированным библиотечным контентом всегда стремились привлекать к своим ресурсам качественную профильную аудиторию пользователей. Эта цель наиболее полно отражает предназначение библиотек в новую информационную эпоху. На сайте Научной библиотеки Томского политехнического университета дана исчерпывающая формулировка цели, к которой следует стремиться: «Миссия библиотеки, - пишут авторы, - заключается в том, чтобы предоставить каждому пользователю качественный и эффективный доступ к любым информационным ресурсам, которые способствуют их образовательной, научной и профессиональной деятельности, к записанной мудрости, опыту и идеям других..» [1].

Однако гарантировать упомянутый качественный и эффективный доступ наиболее заинтересованному контингенту пользователей необычайно трудно. Причина кроется в том, что трафик библиотечного сайта отличается сложной комплексной природой и более чем на 85% формируется ботами. Если меньшую часть из них можно считать условно полезной для продвижения библиотечных ресурсов, то остальные носят откровенно деструктивный характер - ухудшают репутацию сайта, угнетают показатели посещаемости, снижают результативность работы, искажают статистику.

Безотносительно к целям создания ботов, темпы их выхода в интернет в последние годы значительно возросли. Подавляющая часть ботов используется для нелегальной или неодобряемой деятельности - DDoS-атак, перебора паролей, генерации спама. Вдобавок, возник и новый бизнес по майнингу криптовалюты. С.Ю.Комаров называет внешний трафик библиотечных сайтов, ориентированный на технологии вирусного SEO и неприемлемый контент (порнографию и пр.), негативным трафиком, предлагая исключать его из итоговой статистики и аналитики академических библиотек [2, с.128-129].

Действенным средством очищения веб-статистики от реферального спама является фильтрация внешнего трафика на уровне сервера с помощью стоп-листа .htaccess, куда вносятся IP-адреса самых активных спам-ботов. Проверка и оценка этой меры на практике проводилась на сайте Отделения ГПНТБ СО РАН prometeus.nsc.ru с февраля по декабрь 2017 г. Рабочая гипотеза состояла в том, что эффекты количественного уменьшения внешнего трафика, вызванные фильтрацией спам-адресов, должны компенсироваться качественным ростом ключевых показателей сайта (KPI - key performance indicators).

Основные результаты исследования отражены в Таблицах 1 и 2. В первой колонке обеих таблиц приводится конкретная дата, на которую производилось расширение списка блокировки спам-ботов (файла .htaccess) и фиксация метрик посещаемости.

Во 2-й колонке указано количество IP-адресов, внесенных в блок-лист на соответствующую дату первой колонки. В остальных колонках Таблицы 1 представлены данные по посещаемости сайта с накоплением за предыдущий период, начиная с 01.01.2017 г. Они позволяют сопоставить два ряда метрик, полученных от двух систем веб-аналитики сайта prometeus.nsc.ru - Яндекс-Метрики (установлена в 2011 г.), и Google Analytics (2016).

Сравнение «доблокировочного» периода (8.04.2016-5.02.2017) с тестовым (6.02.2017-8.12.2017), примерно одинаковым по продолжительности (около 305 дней), обнаруживает падение всех количественных показателей в среднем на 25%.

При этом по просмотрам и пользователям больше упала Яндекс-Метрика, а по визитам (сеансам) - Google Analytics. Вместе с тем, увеличение списка блокировки отчетливо обнаруживает эффект сближения метрик обеих систем вплоть до их полного совпадения (см. Табл.1).

В течение всего 2017 года показатель просмотров по GA колебался в узком диапазоне 98,32 - 99,66% от данных Я-М. Ряд метрик различается на несколько десятков или сотен единиц. Так, на 3.04 разница по визитам между GA и Я-М составила всего лишь 15 (!).

На дату Блокиро- ванных IP-адресов спам-ботов Новые посетители (%) Отказы (%) Глубина просмотра (страниц) GA Я-М GA Я-М GA Я-М GA к Я-М (%) 06.02.17 615 87,9 95,5 78,24 76,8 2,04 2,11 96,68 10.03.17 618 88,1 96,9 78,55 77,2 1,93 1,97 97,97 03.04.17 942 88,3 97,7 78,88 77,6 1,88 1,92 97,92 04.05.17 1291 88,4 98,3 79,23 78,0 1,83 1,85 98,92 13.06.17 2584 88,6 98,8 79,78 78,7 1,78 1,80 98,89 21.07.17 4477 88,6 98,9 79,51 78,4 1,80 1,82 98,90 06.09.17 5008 88,7 99,0 79,07 77,9 1,83 1,85 98,92 28.09.17 5624 88,9 99,1 78,99 77,8 1,84 1,85 99,46 04.10.17 5730 88,8 99,1 78,94 77,8 1,85 1,86 99,46 01.11.17 5834 88,9 99,2 78,62 77,4 1,87 1,88 99,47 08.12.17 0 88,9 99,2 78,32 77,0 1,89 1,91 98,95

 

В Таблице 2 можно проследить некоторые положительные эффекты фильтрации реферального спама. Показатель «новых посетителей» устойчиво растет в течение всего года - как по GA (87,9-88,9%), так и по Я-М (95,5-99,2%). Для информационного сайта с универсальным политематическим контентом это явление можно считать нормальным, хотя было бы неплохо, чтобы и количество возвращающихся посетителей тоже не уменьшалось. Зато видна положительная тенденция на снижение уровня отказов как по GA, так и по Я-М.

Сначала этот показатель слегка нарастал (до 79,78% по GA и до 78,7% по Я-М), но по мере расширения списка блокировки - с 2,5 тыс. до 6 тыс. IP-адресов - начал устойчиво падать и к декабрю достиг 78,32% по GA и 77% по Я-М. Одновременно выросла и глубина просмотра страниц, снижавшаяся весной. К концу года она составила 1,89 по GA и 1,91 по Я-М (см. Табл.2).

Выводы. Таким образом, ограничение влияния реферальных спам-ботов на трафик библиотечного сайта выявила следующие эффекты фильтрации:

1. Блокировка 6 тысяч спамерских IP-адресов в течение года снизила трафик на 25%. Приблизительная оценка позволяет утверждать, что при занесении в блок-лист .htaccess примерно 250 ботов внешний трафик снижается в среднем на 1%. Можно предполагать, что при высоких уровнях трафика и регулярной фильтрации спамеров их блокировка будет не столь чувствительна для показателей посещаемости.
2. Количественное снижение показателей компенсируется качественным улучшением KPI. Уровень отказов в течение года снизился в среднем на 1-1,5%, а глубина просмотра возросла на 0,1 страницы.
3. Отсев спама из веб-статистики сервера сближает показатели Яндекс-Метрики и Google Analytics (вплоть до совпадения) и значительно повышает точность статистических оценок. Одновременно формируются условия для более рационального и эффективного управления библиотечным сайтом.

... 

[1]		Миссия библиотеки // Научно-техническая библиотека Национального исследовательского Томского политехнического университета (ТПУ). URL: http://www.lib.tpu.ru/mission.html.
[2]		Комаров С.Ю. «Позитивный» и «негативный» внешний трафик из социальных сетей к сайтам научных библиотек // Информационные технологии в гуманитарных исследованиях. Выпуск 22: Ю.П.Холюшкин и др. Очерки по науковедению. Новосибирск: ГПНТБ СО РАН, 2017. С.128-134.

 

---

Опубликовано в журнале:

ВЕСТНИК НАУЧНЫХ КОНФЕРЕНЦИЙ. Тамбов, 2018. N 2-1(30): Наука и образование в XXI веке: по матер. междунар. науч.-практ. конф. 28.02.2018 г.: в 3 частях. Часть 1. С.73-75: табл. Библиогр.: с.75 (2 назв.). - ISSN 2412-8988. - DOI: 10.17117/cn.2018.02.01

 

Статья в формате pdf

Публикации С.Канна