Плагин XF Bot Guard 1.4.1

XF Bot Guard 1.4.1

Важные примечания по обновлению для существующих клиентов:

При включении XF Bot Guard, при обновлении XenForo ACP в один клик теперь проверяется наличие подтверждения поддержки XF Bot Guard перед началом загрузки обновления XenForo. Если целевая версия XenForo выше текущей заявленной поддерживаемой версии, или подтверждение не может быть проверено или проанализировано, в форме отображается предупреждение и требуется явное подтверждение. Обновления, выполняемые вручную с помощью загрузки файлов и через CLI, не блокируются этим предупреждением.

Тип выпуска: минорный

XF Bot Guard 1.4.1 — это обратно совместимый релиз, ориентированный на более безопасное обновление XenForo, более надежную обработку запросов, более чистые ответы сканера, более понятную диагностику и меньшие накладные расходы во время выполнения. Требования к XenForo и PHP остаются неизменными.

Более безопасное обновление XenForo в один клик

XF Bot Guard теперь помогает защитить администраторов от обновления XenForo сверх версии, заявленной как совместимая с XF Bot Guard. В процессе обновления XenForo ACP в один клик дополнение проверяет текущее заявление о поддержке и отображает предупреждение о подтверждении, если целевая версия XenForo еще не подтверждена или если проверку невозможно безопасно завершить.

Это работает автоматически при включенном XF Bot Guard. Это не блокирует обновления, выполняемые вручную путем загрузки файлов или через CLI.

Более надежная отрисовка CAPTCHA-запроса

Отрисовка CAPTCHA-запроса теперь более точно соответствует жизненному циклу отрисовки публичных представлений XenForo. Это делает страницы проверки более надежными для разных поставщиков CAPTCHA и позволяет избежать сбоев отрисовки в случаях, когда поставщику необходим окончательный контекст отрисовки страницы.

Если поставщик CAPTCHA изменяется во время сеанса проверки посетителя, XF Bot Guard корректно повторяет проверку, вместо того чтобы рассматривать посетителя как неудачно отправившего запрос. Неисправная или недоступная конфигурация поставщика CAPTCHA сообщается через обычный публичный ответ об ошибке, а не через некорректную страницу проверки.

Более чистая обработка проверенных краулеров

Решения о разрешении работы проверенных и известных краулеров больше не генерируют ненужный вывод сборщика браузера Bot Guard. Это делает ответы краулеров более чистыми и предотвращает отправку нерелевантных скриптов подтверждения браузера трафику, который уже разрешен для краулеров.

Это поведение является автоматическим и соответствует существующей конфигурации проверки краулеров и разрешения работы известных краулеров.

Более понятные проверки работоспособности и диагностика поддержки

Расширен вывод пакетов проверок работоспособности и поддержки, чтобы администраторы и служба поддержки могли видеть более полезное рабочее состояние при устранении неполадок. Диагностика включает более понятные сигналы кэша, резервного копирования и времени выполнения, при этом продолжая удалять конфиденциальные значения из вывода службы поддержки.

Это работает автоматически после обновления и не требует настройки.

Снижение нагрузки на загруженные форумы

Этот релиз включает целевые оптимизации времени выполнения и обслуживания, которые сокращают повторяющуюся работу без изменения политики защиты. Запись метрик в моментальные снимки панели мониторинга осуществляется более эффективно, запросы на резервное подсчет событий группируются там, где это возможно, загрузка диагностических фраз администратора сокращается, а для больших задач очистки используются сканирования на основе ограниченных курсоров, что позволяет возобновить техническое обслуживание без повторного обхода целых таблиц.

Проверка краулеров, самостоятельная проверка IP-адресов на сервере, анализ защищенного HTML, хронология ссылок, контекстные канареечные тесты, телеметрия Light-DB и поиск идентификаторов посетителей в сети также позволяют более эффективно использовать локальные или кэшированные данные запросов. На практике это должно привести к более плавному плановому техническому обслуживанию на загруженных форумах, уменьшению количества повторяющихся операций с базой данных, снижению дублирования обработки запросов и более безопасной обработке в случаях, когда ограничения общего хостинга блокируют необязательные сигналы хоста.

XF Bot Guard 1.4.0

Тип релиза: незначительный

XF Bot Guard 1.4.0 расширяет возможности отчетности Light-DB, улучшает производительность обработки больших необработанных журналов событий, предотвращает дублирование фонового обслуживания, усиливает безопасность исходящего HTTP-трафика и внедряет широкий спектр оптимизаций во время выполнения и архитектуры.

Аналитика странового давления в режиме Light-DB

Панель мониторинга теперь может отображать приблизительные показатели странового давления, пока активен режим выполнения Light-DB. Это показывает, какие страны генерируют сессии, которые потребовали жесткого вмешательства, достигли тупика проверки браузером или, в режиме наблюдения, были бы оспорены или отклонены. Данные представляют собой ориентированные на сессии, почасовые агрегированные данные, хранящиеся в кэше приложения XenForo, а не необработанные строки публичных запросов, что позволяет пользователям Light-DB сохранять полезную географическую видимость злоупотреблений, не отказываясь от преимуществ режима Light-DB, связанных с уменьшением записи в базу данных. Дополнительные параметры не требуются: эта функция включается автоматически при активации режима Light-DB и отображается в существующей панели «Давление по странам» на панели мониторинга по мере создания новых почасовых снимков.

Более безопасное фоновое обслуживание и более интеллектуальные повторные попытки MMDB

Все записи cron XF Bot Guard теперь используют надежные блокировки выполнения, чтобы предотвратить одновременное выполнение одной и той же запланированной задачи. Если предыдущий запуск все еще активен, перекрывающийся запуск безопасно завершается и планирует повторную попытку в ближайшее время вместо конкуренции за ресурсы базы данных, ЦП, сети или файловой системы. Та же защита была распространена и на задачи обслуживания, запускаемые состоянием системы, что снижает риск одновременной попытки выполнения одной и той же работы с помощью cron, заданий в очереди и ручного восстановления. Эта защита автоматически включается после обновления.

Обновление IPLocate/MMDB также более интеллектуально обрабатывает прерванные или ограниченные по времени загрузки. Частичный прогресс теперь записывается и временно откладывается перед следующей попыткой, начиная с пяти минут и увеличиваясь до одного часа, если повторные попытки не приводят к прогрессу. Существующие частичные загрузки по-прежнему можно возобновить, но короткий цикл cron больше не сможет многократно нагружать конечную точку распространения или сервер форума, когда большая загрузка не может завершиться в течение доступного времени выполнения.

Более быстрая навигация по журналу событий

В журнале событий администратора теперь используется навигация на основе курсора вместо нумерованных страниц, основанных на подсчете строк в базе данных и все более дорогостоящих смещениях SQL. Администраторы могут перемещаться между «Новыми событиями», «Самыми новыми событиями» и «Старыми событиями» с сохранением текущих фильтров. Это обеспечивает быструю и предсказуемую навигацию даже при большом размере таблицы событий, а также позволяет избежать отдельного полного подсчета совпадающих строк при каждом открытии журнала. Улучшение является автоматическим и не изменяет экспорт CSV, фильтрацию событий или подробную информацию об отдельных событиях.

Усиленная защита исходящих запросов с фиксированным адресом назначения

Исходящие запросы, предназначенные для конкретной службы, теперь более строго следят за тем, чтобы оставаться в этом пункте назначения. Запросы API Cloudflare больше не следуют HTTP-перенаправлениям, а резервный вариант api64.ipify.org, используемый для идентификации публичного IP-адреса сервера форума, теперь также отклоняет перенаправления. Это предотвращает скрытую отправку Bot Guard — и потенциально его заголовков запроса — в неожиданное место назначения со стороны доверенной фиксированной конечной точки. Изменение конфигурации не требуется.

Повышение эффективности выполнения и улучшение внутренней архитектуры

Ряд путей публичных запросов и администрирования теперь повторно используют зависимости, ограниченные областью действия запроса, вместо многократного создания одних и тех же считывателей параметров, верификаторов краулеров, служб Edge Enforcement, служб среды выполнения Light-DB, вспомогательных средств режима конфиденциальности и служб сбора данных. Проверка принадлежности онлайн-активности и совместимости с известными ботами также централизована, поэтому одни и те же решения и состояние параметров могут быть повторно использованы в рамках одного запроса. Эти изменения сокращают дублирование работы, изменение объектов и случайные накладные расходы на ЦП и память, особенно в отношении оценки запросов, сбора данных для проверки браузером, телеметрии Light-DB и скорректированных онлайн-счетчиков.

Некоторые из крупнейших внутренних компонентов Bot Guard также были разбиты на более мелкие, специализированные службы. В настоящее время для генерации снимков панели мониторинга используются выделенные сборщики метрик, для формирования отчетов панели мониторинга — выделенные модели чтения, для принятия решений по запросам используются отдельные компоненты оценки рисков и поддержки принятия решений, а также консолидирована логика общей блокировки, метаданных схемы, проверки SQL и фильтрации журналов событий. Инструменты выпуска также получили более строгие проверки контрактов схемы/запросов, средства защиты от мертвого кода и проверки чистоты пакетов. Эти изменения не добавляют новых настроек, но уменьшают дублирование кода и изменение поведения, упрощают изоляцию сбоев и обеспечивают более надежную основу для будущих улучшений панели мониторинга, защиты и производительности.

Идентификация форума в исходящих запросах Bot Guard

Исходящий User-Agent Bot Guard теперь может включать настроенный URL-адрес форума, например (forum: https://example.com/community). Это позволяет операторам внешних сервисов идентифицировать, какая установка форума отправляет запрос.
Это позволяет отличать легитимный трафик Bot Guard и упрощает расследование ограничений скорости, неожиданного трафика или проблем с поддержкой. Включается только безопасно проверенный URL-адрес форума: URL-адреса, содержащие учетные данные, строки запроса, фрагменты, управляющие символы или другой небезопасный формат, опускаются, и Bot Guard возвращается к своему предыдущему общему User-Agent. Это не передает IP-адреса посетителей, пользовательские агенты посетителей, файлы cookie, сигналы браузера, содержимое форума или необработанные данные событий. Отдельная настройка не требуется; убедитесь, что URL-адрес форума XenForo настроен правильно.

XF Bot Guard 1.3.9

Тип релиза: Незначительный

XF Bot Guard 1.3.9 ориентирован на улучшение видимости для администраторов, более чистую операционную диагностику, более упорядоченные аналитические данные и снижение внутренних накладных расходов по ряду актуальных направлений. Для существующих клиентов обновление не требуется.

Обзор панели управления на главной странице ACP

Теперь администраторы могут видеть обзор панели управления XF Bot Guard непосредственно на главной странице XenForo ACP. Это позволяет быстро получить 24-часовой снимок активности Bot Guard без необходимости предварительного открытия полной панели управления, включая основные обзорные карточки, структуру результатов, тенденции нагрузки и информацию о нагрузке по странам, где это поддерживается активным режимом отчетности. Это важно, поскольку статус Bot Guard теперь виден сразу после входа администратора в ACP, что затрудняет игнорирование необычной нагрузки на ботов или активности защиты. Эта функция включена по умолчанию для администраторов с разрешением «Просмотр XF Bot Guard». Вы можете отключить эту функцию в настройках XF Bot Guard, сняв флажок «Показать обзор панели мониторинга» на главной странице ACP.

Диагностика проверки работоспособности для обнаруженных сбоев материалов

На странице проверки работоспособности теперь отображается диагностика с использованием кэша для обнаруженных сбоев материалов. Когда кэш приложения XenForo доступен, Bot Guard записывает наиболее часто проверяемые пути обнаружения сбоев и отображает их в области проверки работоспособности, включая количество, время последнего обнаружения, область функций, цель диагностики, место перехвата, класс исключения и скрытые детали диагностики. Это важно, поскольку некоторые сбои намеренно перехватываются, чтобы сайт мог продолжать безопасно работать, но они не должны быть невидимыми, когда указывают на реальную проблему в работе. Отдельной опции для включения нет. Откройте страницу проверки работоспособности XF Bot Guard, чтобы просмотреть ее. Для просмотра полных сообщений и трассировок стека требуются конфиденциальные права администратора Bot Guard, и эта диагностика не включена в пакет поддержки.

Более чистые данные Google Analytics на маршрутах проверки Bot Guard

Публичные маршруты, принадлежащие Bot Guard, теперь подавляют собственный шаблон Google Analytics XenForo. Это относится к операционным страницам Bot Guard, таким как маршруты проверки, сбора данных, решения проблем и отчетов посетителей, в то время как обычные страницы форума продолжают использовать существующую конфигурацию аналитики XenForo. Это важно, поскольку трафик проверки Bot Guard не является обычным контентным трафиком, и его включение в аналитику может запутать отчетность по активности ботов, проверки или валидации. Ничего настраивать не нужно; это применяется автоматически только к общедоступным маршрутам, принадлежащим Bot Guard.

Снижение накладных расходов на редактирование и контекстную выборку канареечных ссылок

В этом релизе снижается ненужная нагрузка на ЦП в двух загруженных внутренних областях. Редактирование конфиденциальных диагностических массивов теперь повторно использует проверки ключей и заголовков для каждого вызова вместо многократного пересчета одних и тех же решений вложенных диагностических структурах. Контекстная выборка канареечных ссылок также была улучшена, так что теперь она выбирает только ограниченное количество необходимых ссылок-кандидатов, а не перемешивает сначала весь список кандидатов. Это наиболее важно для больших страниц, больших диагностических данных или сайтов с высоким трафиком, где небольшие повторяющиеся затраты суммируются. Нет необходимости включать какие-либо настройки; улучшения применяются автоматически.

Общие улучшения в работе с ЦП, памятью и рефакторинге

Более масштабная очистка кода удаляет неиспользуемые внутренние методы, устаревшие вспомогательные функции и избыточное состояние, которое больше не нужно. Примеры включают перенос общей подготовки дашборда в выделенную службу данных представления дашборда, сужение агрегации обзора главной страницы ACP таким образом, чтобы она получала только необходимые для обзора данные, удаление неиспользуемых вспомогательных функций совместимости и удаление неработающих внутренних путей из служб обслуживания, проверки, cron, Light Response и репозитория.

Практическая выгода заключается в более чистом и простом в сопровождении коде с меньшим количеством ненужной работы в путях выполнения и администрирования. Это не меняет способ настройки Bot Guard клиентами, но должно снизить вероятность будущих регрессий, сделав пути кода проще, более целенаправленными и более удобными для тестирования.

Рекомендательные наборы тестов для анализа неиспользуемого кода и производительности

Инструментарий разработки теперь включает в себя рекомендательный анализ неиспользуемого кода и наборы тестов производительности PHPBench. Эти инструменты охватывают широкий спектр внутренних механизмов Bot Guard, включая агрегацию данных на панели управления, сканирование HTML-ответов, контекстные индикаторы, хронологию ссылок, поиск упакованных IP-адресов, буферизацию подробной информации о событиях, планирование Cloudflare, анализ аутентификации веб-ботов, оценку рисков и конфиденциальное редактирование диагностической информации. Это важно, поскольку будущие оптимизации и улучшения можно будет проверять с помощью повторяемых инструментов анализа производительности и использования, а не только путем ручной проверки.

Эти инструменты предназначены для разработки и проверки релизов, а не для функций ACP, доступных клиентам. Клиентам не нужно ничего включать или запускать.

XF Bot Guard 1.3.7

Тип релиза: минорный

XF Bot Guard 1.3.7 — это релиз, ориентированный на производительность и отказоустойчивость. Он снижает нагрузку на базу данных при обработке защищенных запросов, усиливает обработку угроз от бот-штормов, добавляет более быстрые географические запросы благодаря компактным кэшированным географическим данным, улучшает функциональность панели управления в режиме Light-DB, добавляет мягкие исключения стран и очищает избыточный вывод быстрых настроек и проверки работоспособности.

Улучшенная выживаемость во время активных бот-штормов

Быстрая настройка «Активный бот-шторм» теперь также включает значения по умолчанию для защиты источника. Когда ваш источник находится под давлением, Bot Guard может отфильтровывать обычный неизвестный трафик с помощью легковесного ответа 503 + Retry-After, прежде чем дорогостоящая отрисовка страницы, отрисовка запроса, работа с PHP или работа с базой данных усугубят проблему.

Это важно во время реальных бот-штормов, потому что иногда самым безопасным ответом является не «показать больше запросов», а «защитить источник, пока давление не спадет». Используйте эту функцию в панели администратора → XF Bot Guard → Быстрые настройки → Активировать бот-шторм или настройте Origin Survival напрямую. Вам будет предложено подтвердить, что реальные неизвестные посетители могут временно получать ответы 503, пока активна защита от бот-шторма.

Более лёгкое использование базы данных при защищённых запросах

Режим Light-DB теперь более удобен на пути публичных запросов. Bot Guard больше не выполняет чтение публичной телеметрии из таблиц посетителей, IP-адресов и сессий Light-DB при формировании данных о рисках. Это позволяет режиму Light-DB более эффективно выполнять свою задачу: предотвращать попадание большого объёма бот-трафика в растущие таблицы телеметрии.

Режим обычной базы данных также выигрывает. Поиск данных о рисках теперь выбирает только конкретные столбцы посетителей, IP-адресов и сессий, необходимые для оценки, вместо извлечения целых строк. Это снижает использование операций ввода-вывода и памяти базы данных на загруженных форумах. Режим Light-DB можно включить в разделе «Параметры» → XF Bot Guard → Режим выполнения Light-DB или через быстрые настройки. Более узкие операции чтения из базы данных применяются автоматически после обновления.

Более быстрый локальный поиск географических данных благодаря компактным страницам геокэша

Bot Guard теперь создает компактный индекс страны/ASN из активных баз данных IPLocate и может предварительно загружать ограниченные страницы геоиндекса в кэш приложения XenForo. Затем поиск страны и ASN может использовать эти компактные кэшированные страницы вместо многократного выполнения ресурсоемкой работы чтения MMDB.

Это повышает производительность защиты с учетом страны, обработки краулеров, отчетности, исключений и всплесков активности ботов, когда многие запросы требуют проверки географического положения. Компактный индекс проверяется перед использованием и переключается на обычный считыватель MMDB, если он отсутствует, устарел или недоступен. Поддерживайте работоспособность локальных баз данных IPLocate и кэша приложения XenForo; новый cron-скрипт для автоматического обновления кэша геоиндекса обрабатывает создание, восстановление и предварительное обновление.

Более широкая оптимизация ЦП и памяти в процессе интенсивной работы

Значительная часть обновления 1.3.7 посвящена внутренней оптимизации производительности. Bot Guard теперь повторно использует вычисленные факты защиты в рамках одного запроса, разделяет решения о разрешении доступа для краулеров, кэширует окончательный контекст запроса и избегает повторных проверок политики, маршрута, краулера и страны на разных уровнях защиты. Это уменьшает дублирование работы при одновременной активации нескольких функций.

Обработка HTML также была улучшена. Хронология ссылок и контекстные канареечные тесты теперь могут совместно использовать анализ HTML-ответа вместо независимого сканирования и построения больших промежуточных структур. Сканирование якорей и форм использует более легкие внутренние структуры, а выбранные канареечные тесты могут быть подготовлены во время совместного сканирования. Пути обслуживания и очистки также были улучшены, включая ограниченную работу по очистке и более избирательные шаблоны запросов. Ничего включать не нужно; эти оптимизации применяются автоматически и должны быть наиболее заметны на загруженных форумах, страницах с большим объемом кэша, больших наборах телеметрических данных и активных всплесках активности ботов.

Более полезные снимки панели мониторинга в режиме Light-DB

Когда активен режим выполнения Light-DB и доступен кэш приложений XenForo, снимки панели мониторинга теперь могут включать приблизительные почасовые итоги публичных событий из телеметрии кэша Light-DB. Это предоставляет пользователям Light-DB более полезные данные о тенденциях активности без повторной записи необработанных данных телеметрии в базу данных.

Это улучшает работу панелей с большим объемом данных, таких как счетчики активности, проверка браузера, CAPTCHA, данные о краулерах, пропуски и итоги ответов. Панели, требующие надежных необработанных данных, по-прежнему ограничены данными снимков, хранящимися в базе данных. Чтобы использовать это, включите режим Light-DB с работоспособным кэшем приложений XenForo и дайте cron для создания снимков панели мониторинга работать в обычном режиме.

Мягкие исключения стран

Новая опция «Мягкие исключения стран» позволяет выбирать страны, где обычные посетители, прошедшие проверку, не должны получать штрафные санкции от Bot Guard. После выполнения исключений с более высоким приоритетом, правил принудительной проверки и проверок доверенных поисковых роботов, посетители, соответствующие условиям, не подвергаются проверке, не отклоняются, не получают упрощенных ответов, не сообщаются вручную и не оснащаются контекстными индикаторами.

Это полезно, если вы хотите, чтобы Bot Guard оставался активным во всем мире, но избегал агрессивной обработки для отдельных стран. Настройте это в разделе «Параметры» → «XF Bot Guard» → «Страны с мягким исключением».
Сопоставление происходит только с известными/разрешенными странами на основе данных о странах, полученных от доверенных прокси-серверов, или локального поиска IP-адресов. Неизвестные или неразрешенные страны не сопоставляются, и Origin Survival не использует это исключение.

Более чистые результаты проверки работоспособности

Уровень серьезности проверки работоспособности был улучшен, поэтому ожидаемые состояния больше не рассматриваются как предупреждения. Активный режим Light-DB, отключенное логирование с низкими значениями, буферизованная запись подробностей событий, текущее состояние нагрузки на источник, отключенные дополнительные функции сканирования/rDNS, свежее заполнение панели мониторинга, еще не запущенные проверки кэша и обычные ожидающие файлы с подробной информацией больше не должны создавать лишний шум.

Предупреждения теперь зарезервированы для вещей, которые с большей вероятностью потребуют действий, таких как устаревшие/застрявшие снимки, старые ожидающие файлы, неработающие включенные функции, проблемы с компактным географическим индексом или конфигурация, которая может существенно снизить защиту. Ничего включать не нужно; откройте проверку работоспособности после обновления, и она должна предоставить более чистый список действий.

Более простой предварительный просмотр быстрых настроек

Предварительный просмотр быстрых настроек теперь короче и проще в использовании. Предварительный просмотр фокусируется на настройках, которые действительно изменятся, а также на любых блокирующих факторах или важных подтверждениях перед применением предустановки.

Удалены старые таблицы «не изменено», информационные сообщения и строки предварительного просмотра «будет исправлено». Режим «только наблюдение» также более четко отделен от дополнительных наложений, что делает экран быстрых настроек более понятным. Используйте его так же: Панель администратора → XF Bot Guard → Быстрые настройки, выберите предустановку, просмотрите фактические изменения, а затем примените их.

XF Bot Guard 1.3.5

Тип релиза: минорный

Управляемые средой выполнения локальные базы данных стран/ASN по IP-адресам

XF Bot Guard теперь управляет локальными базами данных стран и ASN IPLocate как загружаемыми ресурсами среды выполнения, а не как пакетными файлами. Дополнение может обновлять эти базы данных с помощью cron-плана обновления MMDB, сохранять их во внутренних данных XenForo, проверять загруженные файлы перед использованием и продолжать использовать предыдущие заведомо исправные файлы, если обновление не удалось. Это обеспечивает конфиденциальность и скорость локального поиска по географическому признаку/ASN, а также делает обновления баз данных более безопасными и простыми в обслуживании. Существующим клиентам не нужно ничего делать вручную; если возникнет проблема с сервером или исходящим подключением, проверка работоспособности локальных баз данных стран/ASN по IP-адресам сообщит об этом.

Более надежная загрузка на DNS-серверах с двойным стеком

Загрузка исходящих HTTPS-запросов теперь безопаснее на серверах, где имя хоста разрешается как в IPv4, так и в IPv6. XF Bot Guard может отдавать предпочтение закрепленному публичному IPv4-адресу, если он доступен, что помогает избежать сбоев на серверах, где работает разрешение DNS по IPv6, но отсутствует исходящее соединение по IPv6. Это повышает надежность обновления источников обхода, настроенных источников CIDR JSON, загрузки ресурсов MMDB и других защищенных путей удаленной выборки. Ничего включать не нужно; поведение происходит автоматически.

Устранение неполадок и внутреннее усиление безопасности

Этот релиз включает в себя общее обслуживание упаковки, вспомогательных средств настройки, проверок работоспособности, обработки зашифрованных секретов, организации кода метрик панели мониторинга и автоматического покрытия тестами. Это не броские изменения, но они важны: они помогают сделать обновления более безопасными, снизить риск регрессий и упростить поддержку дополнения с течением времени. Никаких действий от клиента не требуется.

Уменьшение размера графических ресурсов документации

Встроенные изображения документации были сжаты для уменьшения ненужного веса пакета. Это не меняет поведение Bot Guard, но делает релизный пакет и локальные ресурсы документации легче. Ничего включать или настраивать не нужно.

Дополнительная бета-версия проверки подписанных поисковых роботов

XF Bot Guard теперь включает дополнительную бета-версию проверки подлинности через Web Bot Auth. Проще говоря, это новый способ для распознанных поисковых роботов криптографически доказать, что запрос действительно поступил от них. Если обычные проверки распознанных роботов не дают совпадения, XF Bot Guard может дополнительно использовать подписи Web Bot Auth в качестве резервного пути проверки.

Эта функция отключена по умолчанию, поскольку спецификация все еще находится в стадии разработки, и не все роботы или запросы к ним поддерживают ее. Она не автоматически доверяет каждому подписанному боту: неизвестные подписанные боты не рассматриваются как распознанные, некорректные или просроченные подписи закрываются, и обычная оценка Bot Guard продолжается, если проверка не может быть завершена.

Чтобы попробовать, включите параметр «Разрешить распознанные поисковые роботы и сборщики данных», убедитесь, что кэш приложений XenForo настроен и доступен для записи, затем включите бета-версию (черновик спецификации): «Разрешить резервную проверку подлинности через Web Bot Auth для распознанных роботов». Для не встроенных идентификаторов Signature-Agent добавьте доверенные источники HTTPS в соответствии с бета-версией (проект спецификации): Дополнительные шаблоны Signature-Agent для аутентификации веб-ботов.

Подробнее об аутентификации веб-ботов можно узнать здесь:

Google's Guide to Authenticating Requests with Web Bot Auth (Experimental) | Google Crawling Infrastructure | Crawling infrastructure | Google for Developers

Learn what Web Bot Auth is, the current status of Google's implementation, and how you can implement verification during Google's experimental phase.

developers.google.com

XF Bot Guard 1.3.2

Тип релиза: минорный

XF Bot Guard 1.3.2 ориентирован на снижение нагрузки на сервер, более интеллектуальное обнаружение ботов, специфичное для форумов, и повышение стабильности на крупных сайтах. Он расширяет возможности чтения с использованием кэша на большее количество путей защиты, добавляет новые сигналы хронологии ссылок и поведенческие сигналы времени пребывания, повышает надежность панели управления и добавляет новую проверку работоспособности для проблем с источником URL-адреса форума.

Более быстрая защита с более дешевым чтением с путей защиты

XF Bot Guard уже использовал кэш приложений XenForo на своем основном пути защиты. В версии 1.3.2 этот подход с использованием кэша был расширен на все совместимые пути защиты, включая такие области, как счетчики, проверенные поиски краулеров, сопоставление сети, анализ шаблонов с низкой интенсивностью ответа, контекстные канареечные ссылки и состояние хронологии ссылок. Проще говоря, это означает, что Bot Guard может избежать множества повторных запросов на чтение из базы данных во время интенсивного трафика, повторно используя кратковременные кэшированные данные там, где это возможно.


В Bot Guard нет ничего нового, что нужно было бы включать. Если кэш приложений XenForo настроен и заполнен, Bot Guard будет использовать его автоматически. В противном случае Bot Guard продолжает работать в обычном режиме, используя базу данных, но на более загруженных форумах следует серьезно рассмотреть возможность включения кэша приложений XenForo. Предпочтительнее использовать Memcached, затем Redis. APC/APCu может быть полезен для небольших односерверных установок, но не является предпочтительным вариантом для крупных или более загруженных сообществ.

Более интеллектуальная проверка маршрута ссылок для форумов

Хронология ссылок помогает Bot Guard различать обычный просмотр и обход URL-адресов в стиле скрапера. Когда посетитель просматривает защищенную страницу, Bot Guard сохраняет кратковременную запись защищенных внутренних ссылок, которые фактически были видны на этой странице. При следующем запросе к защищенной странице он может определить, переходит ли посетитель по ссылке, которую он недавно видел, перезагружает ту же страницу или переходит непосредственно на другой защищенный URL-адрес, который не был частью его недавнего маршрута.


Это важно, потому что реальные пользователи обычно просматривают форумы по видимым ссылкам, в то время как боты часто работают со списками URL-адресов, предполагаемыми путями, маршрутами, полученными путем парсинга, или прямым обходом защищенных страниц. Сигнал адаптирован к каждому форуму, поскольку он формируется на основе фактических страниц, ссылок и структуры маршрутов этого форума. Он включен по умолчанию и может быть настроен или отключен в параметрах хронологии ссылок. Он добавляет только ограниченный риск; сам по себе он не блокирует никого полностью.

Обучение времени пребывания на форуме

Обучение времени пребывания дает хронологии ссылок лучшее представление о том, как выглядит «нормальный» просмотр в каждом отдельном сообществе. Bot Guard анализирует навигацию зарегистрированных пользователей, чтобы определить приблизительные локальные границы того, сколько времени люди обычно проводят между переходами на защищенные страницы. Быстро развивающийся форум поддержки, форум с длинными дискуссиями и сообщество с большим количеством медиаконтента могут иметь различное нормальное поведение, поэтому Bot Guard обучается на основе самого форума, а не полагается на одно фиксированное глобальное правило.

Это разработано для обеспечения конфиденциальности. Bot Guard не требует идентификации отдельных участников, хранения личной истории просмотров или знания того, что кто-то лично читал, для построения этой модели. Он использует локальное агрегированное поведение для понимания нормального ритма форума, а затем добавляет ограниченный риск только тогда, когда путь по защищенной ссылке необычно быстрый или необычно медленный по сравнению с обычным шаблоном форума. Если локальной выборки данных еще недостаточно, оценка времени пребывания просто не применяется.

Более надежная панель мониторинга на крупных сайтах

Теперь панель мониторинга избегает загрузки неограниченного количества строк метрик маршрутов и времени в память. Отчеты по маршрутам ограничиваются наиболее релевантными маршрутами, результаты маршрутов извлекаются только для этих выбранных маршрутов, а сводки времени рассчитываются более безопасным для памяти способом.

Это решает проблему исчерпания памяти панели мониторинга на больших или загруженных установках. Ничего включать не нужно; обновите и используйте панель мониторинга как обычно.

Проверка работоспособности источника URL-адреса форума

Теперь проверка работоспособности проверяет источник URL-адреса форума XenForo на соответствие текущему источнику публичных запросов. Это помогает выявлять распространённые проблемы конфигурации, такие как несоответствие HTTP/HTTPS, неправильный хост, несоответствие www/не-www, несоответствие портов или проблемы с обработкой прокси.

Это важно, поскольку несоответствия источников могут влиять на проверку браузера в пределах одного источника, URL-адреса запросов и URL-адреса ресурсов. Чтобы использовать это, откройте страницу состояния/работоспособности XF Bot Guard после обновления и просмотрите результат проверки источника URL-адреса доски. Если он сообщает о проблеме, исправьте URL-адрес доски XenForo или конфигурацию HTTPS/хоста вашего прокси, а затем повторно запустите проверку.

Более стабильные данные о количестве участников онлайн

Корректировка количества участников онлайн в Bot Guard теперь использует одну согласованную совокупность активности сеанса XenForo вместо объединения отдельных данных, которые могут кратковременно расходиться при перемещении или нагрузке.

Это исправляет временные несогласованные итоговые данные о количестве участников онлайн, включая количество участников, гостей и запросов. Корректировка применяется автоматически, когда Bot Guard включен и включена опция корректировки количества участников онлайн.

Важные примечания по обновлению для существующих клиентов:
Для прямого обновления до XF Bot Guard 1.3.1 требуется предварительная установка XF Bot Guard 1.2.9 (1020970) или более новой версии. Если на вашем сайте установлена более старая версия XF Bot Guard, сначала выполните обновление через промежуточный релиз, содержащий старые миграции, убедитесь в успешном завершении обновления, а затем установите версию 1.3.1. Клиенты, уже использующие версии 1.2.9, 1.3.0 или более новые, могут выполнить обновление в обычном режиме.

Тип релиза: незначительный
XF Bot Guard 1.3.1 ориентирован на более безопасное обновление, более понятную отчетность на панели управления, более надежные контекстные ссылки-индикаторы, улучшенную поддержку локализации, диагностику, обеспечивающую конфиденциальность, и снижение нагрузки на базу данных. Большинство изменений применяются автоматически после обновления, без необходимости внесения новых настроек.

Более безопасное прямое обновление с поддерживаемых версий
XF Bot Guard теперь четко обеспечивает поддержку базовой версии для прямого обновления — 1.2.9 или более новой. Это предотвращает попытки прямого перехода на более новую схему для очень старых установок без необходимых шагов миграции устаревших версий. Если ваша установка уже работает на версии 1.2.9 или новее, просто обновите ее как обычно; если она старше, сначала обновитесь через необходимый промежуточный релиз.

Более понятные предупреждения о покрытии снимков панели мониторинга
Теперь панель мониторинга предупреждает, когда выбранный временной диапазон еще не имеет полного покрытия доверенными снимками. Это помогает избежать ошибочного принятия неполных диаграмм за «отсутствие активности бота», когда проблема на самом деле заключается в отсутствии, задержке или еще не созданных снимках панели мониторинга. Откройте панель мониторинга как обычно; если появляется предупреждение, проверьте выбранный диапазон, срок хранения снимков, почасовой cron для снимков и состояние/работоспособность.

Более точная отчетность панели мониторинга только для наблюдения
Отчетность панели мониторинга только для наблюдения теперь лучше соответствует панели мониторинга принудительного применения в реальном времени, сохраняя при этом данные о предполагаемых действиях отдельно от реальных данных принудительного применения. Метрики давления на маршруты и результатов маршрутов теперь используют правильные группы снимков только для наблюдения, поэтому администраторы могут с большей уверенностью тестировать настройки перед включением активного принудительного применения. Включите режим «Только наблюдение», как обычно, затем просмотрите разделы панели мониторинга «Запрос на изменение», «Отказ в изменении» и «Давление на маршрут».

Более надежные контекстные индикаторы ссылок
Инструментарий контекстных индикаторов ссылок был переработан для изменения допустимых тегов привязки без повторной сериализации всего HTML-документа. Это делает индикаторы более безопасными при работе со скриптами, стилями, комментариями, шаблонами, заголовками, содержимым текстовых полей, тегами верхнего регистра, атрибутами без кавычек и более сложной разметкой страницы. Если контекстные индикаторы ссылок уже включены, исправление применяется автоматически; в противном случае включите их в настройках XF Bot Guard, если вам нужен этот дополнительный уровень обнаружения ботов.

Более быстрые проверки базы данных на загруженных форумах
Несколько часто используемых запросов были оптимизированы для уменьшения ненужной работы с базой данных. Это включает в себя более удобные для индексации проверки контроллеров, запросы на подсчет событий с дедупликацией, более быстрые проверки существования и кэширование схемы на уровне запроса. Ничего включать не нужно; после обновления улучшенные пути запросов используются автоматически.

Полностью структурированный текст для административной панели и панели управления
Больше текста для административной панели, панели управления, состояния, Cloudflare, настроек и JavaScript в XF Bot Guard теперь использует фразы XenForo. Это упрощает перевод, настройку и обеспечивает согласованность дополнения с языковыми настройками вашего форума. Используйте стандартные инструменты XenForo для корректировки формулировок при необходимости.

Диагностика с поддержкой браузеров, обеспечивающая конфиденциальность
Буфер отладки браузера теперь отключен по умолчанию и активируется только тогда, когда режим отладки явно установлен в значение «истина». При включении для устранения неполадок он сохраняет небольшой, очищенный журнал последних событий и предотвращает раскрытие конфиденциальных значений, таких как идентификаторы посетителей, токены, значения CSRF, URL-адреса возврата, пути запросов, строки запросов, URL-адреса скриптов, значения localStorage и необработанные сигналы браузера. Оставляйте его отключенным для обычного использования; включайте его временно только по запросу службы поддержки.

Более удобный путь обновления
Старые пути миграции и обеспечения совместимости, которые больше не входят в поддерживаемый диапазон прямого обновления, были удалены. Это снижает сложность обновления и позволяет текущему коду сосредоточиться на поддерживаемых установках, вместо того чтобы бесконечно хранить старую логику временного хранения, хеширования и восстановления параметров. Никаких настроек не требуется; единственное, что нужно помнить, это то, что установки старше версии 1.2.9 должны сначала обновиться через необходимый промежуточный релиз.

XF Bot Guard 1.2.7

Важные примечания к обновлению для существующих клиентов:

Предварительный просмотр URL-адресов в социальных сетях: В этом выпуске добавлена опциональная обработка предварительного просмотра URL-адресов только с метаданными, по умолчанию отключенная, для некоторых агентов предварительного просмотра в социальных сетях и мессенджерах, включая WhatsApp. Если предварительный просмотр ссылок для защищенных общедоступных страниц важен для вашего сайта, ознакомьтесь с новыми облегченными параметрами корректного ответа после обновления.
Расширенные сетевые элементы управления: исключения IP/CIDR теперь поддерживают десятичные ASN, и добавлен новый список сетей с принудительной проверкой. Используйте десятичный синтаксис ASN, например, 32934, а не AS32934.

Тип выпуска: Незначительный выпуск с улучшенными функциями и усилением безопасности

• Этот выпуск сосредоточен на практических элементах управления для существующих установок: более безопасное развертывание в социальных сетях, более широкая обработка IP/CIDR/ASN, режим развертывания только для наблюдения, более понятная отчетность о ложных заявлениях о поиске, более точный подсчет на панели мониторинга и более безопасный диагностический вывод для службы поддержки.

Добавлено

• Добавлены необязательные корректные ответы для выбранных пользовательских агентов, отображающих URL-адреса.
• Добавлен настраиваемый список шаблонов пользовательских агентов для обработки предварительного просмотра URL-адресов только с метаданными, включая шаблоны для предварительного просмотра Facebook/Meta, X/Twitter Cards, LinkedIn, Slack, Discord, Telegram, Yahoo Mail, Bluesky, WhatsApp и Skype.
• Добавлена поддержка ASN для сопоставления сетевых списков Bot Guard.
• Добавлена новая опция «Принудительная проверка IP-адресов/CIDR/ASN» для преднамеренной проверки выбранных IP-адресов, диапазонов CIDR или десятичных ASN.
• Добавлен локальный кэш диапазонов ASN, обновляемый запланированным процессом обхода/обновления сети, поэтому сопоставление во время запроса может использовать локальные диапазоны CIDR вместо поиска в реальном времени.
• Добавлено необязательное наложение «Только наблюдение» для проверки того, что бы сделал Bot Guard, если бы не предпринимал действий, изменяющих действия посетителя.
• Добавлены типы событий «только наблюдение» для результатов, которые могли бы быть оспорены, отклонены, показали бы проверку браузера, выдали бы упрощенный ответ и были бы синхронизированы с Cloudflare.
• Добавлена безопасная для конфиденциальности отчетность для запросов, которые утверждают, что являются известными краулерами или ботами, но все же проходят обработку CAPTCHA или отказа в канале.
• Добавлена отчетность на панели мониторинга для активности проверки заявленных краулеров/ботов.
• Добавлена отчетность на панели мониторинга для активности упрощенного ответа на развертку URL-адреса.
• Добавлен рабочий процесс с отредактированным пакетом поддержки для администраторов с конфиденциальным разрешением Bot Guard.
• Добавлен доступ к пакету поддержки из раздела «Состояние/статус», фильтрованные представления необработанных журналов событий и представления подробной информации об отдельных событиях.

Улучшено

• Повышена точность панели мониторинга для сохраненных метрик риска, маршрута, результата и времени.
• Улучшены панели времени на панели мониторинга с метаданными о времени принятия недавних решений и расчетами ближайшего ранга 95-го процентиля.
• Улучшена фильтрация журналов событий, что упрощает расследование новых событий, связанных с легким откликом, наблюдением и запросами от краулера.
• Улучшена отчетность о состоянии Cloudflare Edge Enforcement, включая более четкое отображение сохраненного и фактического состояния тестового запуска.
• Улучшены журналы синхронизации Cloudflare и обработка сбоев, связанных с проверками блокировок, ограничениями скорости, ожидающими состояниями, удаленными кандидатами, подавленными кандидатами и состояниями повторных попыток.
• Улучшена отчетность о состоянии/работоспособности для состояния кэша диапазонов ASN, доступности безопасного генератора случайных чисел, диагностики Cloudflare и состояния снимков панели мониторинга.
• Улучшена совместимость с поддерживаемыми установками XenForo 2.1, 2.2 и 2.3.
• Улучшены проверки совместимости с PHP 7.2+.

Изменено:

• Изменено использование фактического тестового запуска Cloudflare Edge Enforcement при активном режиме наблюдения без изменения сохраненного параметра тестового запуска Cloudflare.
• Удален устаревший параметр строгой проверки без подтверждения из активного набора параметров.

Безопасность и конфиденциальность

• Усилена защита API Cloudflare, журнала синхронизации, проверки работоспособности и вывода поддержки для токенов API, учетных данных, cookie, токенов CSRF, учетных данных URL и значений стиля закрытого ключа.
• Усилена защита от повторного воспроизведения проверки браузера с помощью кратковременных, одноразовых, поддерживаемых сессией токенов-сборщиков.
• Усилена обработка текста аудита событий, так что некорректная кодировка, полученная из запроса, очищается перед сохранением.
• Усилена диагностика токенов Cloudflare, так что нерасшифровываемый сохраненный материал токена обрабатывается более четко после локальных изменений ключевого материала.

Примечания к обновлению

• Минимальные требования к XenForo и PHP остались без изменений.
• Функция «только наблюдение» по умолчанию отключена.
• Предварительный просмотр допустимых ответов для выбранных пользовательских агентов URL-адресов по умолчанию отключен.
• Если предварительный просмотр URL-адресов важен для вашего форума, после обновления ознакомьтесь и протестируйте новые параметры предварительного просмотра допустимых ответов.
• Если вы используете исключения по IP/CIDR, после обновления проверьте переименованную опцию «Исключенные IP/CIDR/ASN».
• Если вы добавляете записи ASN, используйте простой десятичный синтаксис ASN, например 32934, а не AS32934.
• Записи ASN зависят от запланированного процесса обновления. Если у ASN еще нет активных кэшированных диапазонов, он не сможет сопоставлять IP-адреса запросов, пока кэш не будет заполнен.
• Если вы используете Cloudflare Edge Enforcement, обратите внимание, что включение режима «Только наблюдение» фактически переводит синхронизацию Cloudflare в режим «тестового запуска», пока режим «Только наблюдение» не будет отключен.
• После обновления проверьте состояние/статус, особенно если вы используете Cloudflare Edge Enforcement, сетевые элементы управления на основе ASN, обработку развертки URL или сигналы доверенных прокси.

Тип релиза: Крупное обновление

Важно: пожалуйста, прочтите перед обновлением

XF Bot Guard 1.2.3 — это крупное обновление базы данных, хранения данных, отчетности и очистки.

Это обновление не следует устанавливать вслепую на очень крупных форумах, не выбрав предварительно правильный путь обновления.

Для большинства небольших и средних форумов обычный процесс обновления дополнения XenForo должен подойти.

Для очень крупных форумов обновление этого релиза может занять значительно больше времени, поскольку существующие данные Bot Guard необходимо перенести в новую структуру, включая изменения внутреннего хранилища хешей и изменения хранилища сведений о событиях.

Перед обновлением определитесь, какой путь вам подходит:

Обычное обновление: сохраняет существующую историю Bot Guard, события, счетчики, сессии, посетителей и телеметрию, но может занять больше времени на больших форумах.

Чистая установка: запишите конфигурацию Bot Guard, удалите Bot Guard, установите версию 1.2.3 заново, затем повторно введите конфигурацию. Это позволит избежать переноса старых данных телеметрии Bot Guard, но исторические данные Bot Guard будут потеряны.

Если вы хотите сохранить исторические данные Bot Guard, используйте обычный путь обновления.

Если у вас очень большой форум и вас не интересует сохранение старых данных телеметрии Bot Guard, то чистый путь удаления/переустановки может быть лучшим вариантом.

Проверьте настройки хранения после обновления

XF Bot Guard 1.2.3 меняет модель хранения.

Некоторые параметры хранения были изменены с дневного на почасовой, и были введены новые значения по умолчанию.

После обновления проверьте новые параметры хранения и подумайте, имеют ли ваши предыдущие настройки смысл.

Рекомендуется начать с новых настроек по умолчанию.