Consideramos que este artículo está parcialmente obsoleto, hemos visto que los robots más dañinos ya no respetan el archivo robots.txt, por lo que controlamos una parte a nivel del servidor, ¡los robots traviesos ahora son barridos por la fuerza! (analizamos los registros periódicamente y reforzamos el sistema de filtrado). Puedes completar si es necesario con tu archivo local: robots.txt...
el 30/09/2016, dada la persistencia del tráfico de spam y los ataques a sitios rusos, chinos y ex, estamos configurando un bloqueo por IP del país, lea:https://support.yoorshop.hosting/knowledgebase/2464/Bloqueo-de-trafico-por-pais.html
PrestaShop:
https://mypresta.eu/modules/administration-tools/block-ip-free
WordPress:
https://fr.wordpress.org/plugins/iq-block-country/
Independientemente de que su sitio sea atacado o no, le ofrecemos diferentes herramientas temporales o permanentes:
https://support.yoorshop.hosting/knowledgebase/3077/Esta-sufriendo-un-ataque-DDoS.html
Resultado de nuestros bloqueos en awstats de cPanel (pero no solo):
444 Error desconocido 4 751 2.9 % 0
Vea sus visitas en tiempo real en cPanel (tema paper_lantern), sección de visitantes, haga clic en TODOS, luego en el botón de configuración a la derecha, haga clic en estado/estado, desactive la URL y la URL de referencia si es necesario para ver los códigos de error, y si ve 444, 429, 405, 410 en páginas/URL legítimas, contáctenos para que podamos ver qué podemos hacer... Es completamente normal ver una lista de errores bastante grande en AWSTATS de cPanel, hay mucho tráfico bloqueado para ser muy preciso.
Es decir, para limitar la velocidad de todos los robots atentos, puede agregar esto a su archivo robots.txt después de la línea que contiene User-agent: *, esto indicará un retraso requerido de 5 segundos entre cada página rastreada:User-agent: *
Crawl-delay: 5
Usamos estos códigos específicos para encontrar nuestro camino:- 206: contenido parcial mostrado, es consecuencia del código 410 a continuación, contáctanos. Tenga en cuenta que es completamente normal tener una cierta cantidad de 206 en sus registros cuando el contenido se toma del exterior.
- 405: Preocupa solicitudes de tipo de trama dudosas/xss/injection SQL/http.
- 410: referentes web (rusos, chinos u otros sitios) o palabras clave bloqueadas (en caso de que una de sus páginas no se muestre completamente, contáctenos), verá que el código 206 aumenta en consecuencia...
- 429: limitación de solicitudes de archivos confidenciales wp-login.php/ex, pero no sólo.
- 444: para detener bots y URL de archivo config.php /ex.
- 499: el visitante o la red no transmitió la respuesta a tiempo, la conexión se cierra. Las conexiones IP excesivas también pueden causar esto.
- 503: Demasiadas solicitudes, utilizadas por complementos anti-DDoS, pero también por otras soluciones de seguridad nuestras.
Ya sea que tenga poco o mucho tráfico legítimo, la cantidad de tráfico bloqueado por nuestro sistema puede variar mucho de un sitio a otro, ¡del 10 al 15% al triple!
Leer: https://support.yoorshop.hosting/knowledgebase/2464/Bloqueo-de-trafico-por-pais.html
Entonces, debes haber configurado un archivo robots.txt que te permite limitar el tráfico relacionado con los robots de la red, y algunos de ellos no tienen buenas intenciones: buscan fallas en tu sitio web y/o ocupan tu sitio web y, por lo tanto, sus recursos, esto también puede evitar DDoS suaves...
Tomamos un ejemplo de un sitio en nuestro servidor que utiliza el CMS spip en el que notamos un alto nivel de recursos utilizados, por lo que simplemente analizamos el tráfico usando awstats del cPanel para ver si era normal/legítimo. El problema en este sitio es obvio, como se muestra en la captura, observamos que un rango de IP ruso es responsable de todo esto: esto revela claramente que un robot del mismo editor está involucrado en el tráfico zombie en este sitio en particular. Comprobamos la identidad de una de las IP por precaución (si empresa de hosting = robots):
https://apps.db.ripe.net/db-web-ui/#/query
Para bloquear todas las visitas de este rango de IP (ya que en este caso se trata de varias IP), en cPanel, vaya a bloqueadores de IP e ingrese el rango de IP un poco más amplio. No bloquee excesivamente demasiados rangos de IP o demasiadas IP, esto deteriorará el rendimiento de su sitio, contáctenos si tiene ambiciones de bloquear rangos grandes, haremos algo a nivel de Nginx....
Una vez hecho esto, verá en la sección Errores de cPanel que este tráfico ahora está bloqueado para estas IP.
Aquí está la parte principal más importante del archivo (funcionará con esto incluso si podemos hacerlo mejor), es decir, la lista de robots que no puede autorizar automáticamente:
User-agent: 008
User-agent: Alexibot
User-agent: AlvinetSpider
User-agent: Antenne Hatena
User-agent: ApocalXExplorerBot
User-agent: asterias
User-agent: BackDoorBot/1.0
User-agent: BizInformation
User-agent: Black Hole
User-agent: BlowFish/1.0
User-agent: BotALot
User-agent: BuiltBotTough
User-agent: Bullseye/1.0
User-agent: BunnySlippers
User-agent: Cegbfeieh
User-agent: CheeseBot
User-agent: CherryPicker
User-agent: CherryPickerElite/1.0
User-agent: CherryPickerSE/1.0
User-agent: CopyRightCheck
User-agent: cosmos
User-agent: Crescent
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
User-agent: DISCo Pump 3.1
User-agent: DittoSpyder
User-agent: dotbot
User-agent: EmailCollector
User-agent: EmailSiphon
User-agent: EmailWolf
User-agent: EroCrawler
User-agent: ExtractorPro
User-agent: Flamingo_SearchEngine
User-agent: Foobot
User-agent: Harvest/1.5
User-agent: hloader
User-agent: httplib
User-agent: HTTrack
User-agent: HTTrack 3.0
User-agent: humanlinks
User-agent: Igentia
User-agent: InfoNaviRobot
User-agent: JennyBot
User-agent: JikeSpider
User-agent: Kenjin Spider
User-agent: LexiBot
User-agent: libWeb/clsHTTP
User-agent: LinkextractorPro
User-agent: LinkScan/8.1a Unix
User-agent: LinkWalker
User-agent: lwp-trivial
User-agent: lwp-trivial/1.34
User-agent: Mata Hari
User-agent: Microsoft URL Control - 5.01.4511
User-agent: Microsoft URL Control - 6.00.8169
User-agent: MIIxpc
User-agent: MIIxpc/4.2
User-agent: Mister PiX
User-agent: MLBot
User-agent: moget
User-agent: moget/2.1
User-agent: MS Search 4.0 Robot
User-agent: MS Search 5.0 Robot
User-agent: Naverbot
User-agent: NetAnts
User-agent: NetAttache
User-agent: NetMechanic
User-agent: NICErsPRO
User-agent: Offline Explorer
User-agent: Openfind
User-agent: OpenindexSpider
User-agent: ProPowerBot/2.14
User-agent: ProWebWalker
User-agent: psbot
User-agent: QuepasaCreep
User-agent: QueryN Metasearch
User-agent: RepoMonkey
User-agent: RMA
User-agent: SemrushBot
User-agent: SightupBot
User-agent: SiteBot
User-agent: SiteSnagger
User-agent: SiteSucker
User-agent: Sogou web spider
User-agent: sosospider
User-agent: SpankBot
User-agent: spanner
User-agent: Speedy
User-agent: suggybot
User-agent: SuperBot
User-agent: SuperBot/2.6
User-agent: suzuran
User-agent: Szukacz/1.4
User-agent: Teleport
User-agent: Telesoft
User-agent: The Intraformant
User-agent: TheNomad
User-agent: TightTwatBot
User-agent: Titan
User-agent: toCrawl/UrlDispatcher
User-agent: TosCrawler
User-agent: True_Robot
User-agent: True_Robot/1.0
User-agent: turingos
User-agent: TurnitinBot
User-agent: UrlPouls
User-agent: URLy Warning
User-agent: VCI
User-agent: Web Image Collector
User-agent: WebAuto
User-agent: WebBandit
User-agent: WebBandit/3.50
User-agent: WebCopier
User-agent: webcopy
User-agent: WebEnhancer
User-agent: WebmasterWorldForumBot
User-agent: webmirror
User-agent: WebReaper
User-agent: WebSauger
User-agent: website extractor
User-agent: Website Quester
User-agent: Webster Pro
User-agent: WebStripper
User-agent: WebStripper/2.02
User-agent: WebZip
User-agent: wget
User-agent: WikioFeedBot
User-agent: WinHTTrack
User-agent: WWW-Collector-E
User-agent: Xenu Link Sleuth/1.3.8
User-agent: yacy
User-agent: yandex
User-agent: YRSPider
User-agent: Zeus
User-agent: Zookabot
Disallow: /
Aquí te dejamos la parte secundaria a modo de ejemplo que debes personalizar según tu sitio:User-agent: *
Disallow: /cgi-bin/
Disallow: /temp/
Disallow: /client.php
Sitemap: https://www.susitio.es/sitemap.xml
Otra configuración posible, a través de Nginx, crear el archivo. nginx.conf y pon esto ahí:
if ($bad_bot = 1) {
return 444 "? beep boop ?";
}Luego, abra el administrador de Nginx y haga clic en Reload en la línea «nginx.conf reload»
Otro truco consiste en decirle a los robots que rastreen el sitio lentamente:
User-agent: *
Crawl-delay: 5
