Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Nicecrawler/1.1; +http://www.nicecrawler.com/) Chrome/90.0.4430.97 Safari/537.36

Вот подробный разбор User-Agent строки `Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Nicecrawler/1.1; +http://www.nicecrawler.com/) Chrome/90.0.4430.97 Safari/537.36` в виде списка на русском языке: --- 1. **Mozilla/5.0** - **Историческая маскировка** для совместимости с сайтами. - **Не означает Firefox** — используется как «общий знаменатель». 2. **AppleWebKit/537.36** - **Замороженная версия WebKit** — стандарт с 2013 года. - **Не отражает реальный движок** (это не Safari). 3. **(KHTML, like Gecko; compatible; Nicecrawler/1.1; +http://www.nicecrawler.com/)** - **KHTML** — обманка (как в Safari). - **like Gecko** — обманка (как в Firefox). - **compatible** — ключевое слово: «это не браузер». - **Nicecrawler/1.1** — **официальное имя бота**. - **+http://www.nicecrawler.com/** — **обязательная ссылка** на описание (по правилам robots.txt). 4. **Chrome/90.0.4430.97** - **Поддельная версия Chrome** (май 2021 года). - **Не настоящий Chrome** — просто маскировка. 5. **Safari/537.36** - **Поддельная маскировка под Safari**. - **537.36** — та же «замороженная» версия WebKit. --- ### Итоговая расшифровка: | Параметр | Значение | |------------------------|---------| | **Агент** | **Nicecrawler 1.1** | | **Тип** | **Веб-краулер / поисковый бот** | | **Владелец** | [Nicecrawler](http://www.nicecrawler.com/) | | **Назначение** | Индексация сайтов для **собственной поисковой системы** | | **Сайт** | `http://www.nicecrawler.com/` | | **Маскировка** | Chrome 90 + Safari + WebKit | | **Движок** | **Неизвестен** (вероятно, Headless Chrome или Puppeteer) | | **Статус** | **Легитимный бот, но малоизвестный** | --- ### Это **официальный бот** — **не Google, не Яндекс, не Bing** | Признак | ✅ | |--------|----| | Указана **обязательная ссылка** `+http://...` | ✅ | | Имя **Nicecrawler/1.1** | ✅ | | Есть `compatible` | ✅ | | Указан **User-Agent в robots.txt** (проверить!) | ⚠️ | --- ### Что такое **Nicecrawler**? - **Маленькая поисковая система** (аналог Ichiro, Seznam). - Индексирует сайты для **своего поиска** (не для Google). - **Не агрессивный**, но **не в топ-20 ботов**. - Работает с **2010-х годов**, обновляется редко. --- ### Проверка легитимности | Признак | Как проверить | |--------|--------------| | **IP → DNS** | Должен быть `*.nicecrawler.com` или известный хостинг | | **robots.txt** | Добавить: ```txt User-agent: Nicecrawler Disallow: /admin ``` | **Частота запросов** | Обычно **1–2 запроса в сутки** на сайт | | **Заголовки** | Часто: `From: crawler@nicecrawler.com` | --- ### Рекомендации | Действие | Обоснование | |--------|------------| | **Разрешить** | Легитимный бот, не вредит | | **Ограничить скорость** | `Crawl-delay: 10` в robots.txt | | **Исключить из аналитики** | Не пользователь | | **Логировать отдельно** | `Bot: Nicecrawler` | | **Проверить robots.txt** | Убедиться, что нет `Disallow: /` | --- ### Пример `robots.txt` для Nicecrawler: ```txt User-agent: Nicecrawler Allow: / Crawl-delay: 10 Disallow: /admin/ Disallow: /private/ User-agent: * Allow: / ``` --- ### Вывод: - **Это официальный поисковый бот Nicecrawler 1.1** - **Маскируется под Chrome 90 + Safari** - **Легитимен, но не популярный** - **Разрешать с ограничением скорости** - **Исключать из статистики посещений** - **Добавить в robots.txt для контроля**