Consideriamo questo articolo per essere parzialmente deprecato, abbiamo visto che i robot più dannosi non rispettano più lo robots.txt, quindi controlliamo una parte a livello del server, i robot cattivi sono ora spazzati via dalla forza! (analizziamo regolarmente i registri e rafforziamo il dispositivo del filtro). È possibile integrare il file locale se necessario: robots.txt...
Il 30/09/2016, di fronte alla persistenza del traffico di spam russo, gli attacchi cinesi /ex e del sito, memorizziamo un blocco da paesi IP, leggi:https://support.yoorshop.hosting/knowledgebase/2464/Blocco-di-traffico-per-Paese.html
Prestashop:
https://mypresta.eu/modules/administration-tools/block-ip-free
Wordpress:
https://fr.wordpress.org/plugins/iq-block-country/
Se il tuo sito è attaccato o no, ti offriamo diversi strumenti temporanei o permanenti:
https://support.yoorshop.hosting/knowledgebase/3077/Sei-sotto-attacco-Ddos.html
Risultato dei nostri blocchi in awstat cpanel (ma non solo):
444 Errore sconosciuto 4 751 2.9 % 0
Guarda le tue visite in tempo reale in cpanel (tema lanterna carta), sezione visitatori, fare clic su TUTTI, quindi nel pulsante impostazioni a destra, fare clic sullo stato/status, fare clic su URL e fare riferimento URL se necessario per vedere i codici di errore, e se si vede 444, 429, 405, 410 su pagine legittime/URL, contattaci per vedere cosa possiamo fare... È abbastanza normale vedere un elenco di errori abbastanza importanti in cPanel AWSTATS, ci sono un sacco di traffico bloccato per motivi molto specifici.
Cioè, per limitare la velocità di tutti i robot attenti, è possibile aggiungere questo al vostro robots.txt Dopo la linea User-agent: *, questo indicherà un tempo richiesto di 5 secondi tra ogni pagina esplorata:User-agent: *
Crawl-delay: 5
Usiamo questi codici specifici per identificarci:- 206 : contenuto parziale visualizzato, è una conseguenza del codice 410 di seguito, contattaci. Attenzione, è abbastanza normale avere un numero di 206 nei registri quando il contenuto viene prelevato dall'esterno!
- 405: Riguarda query di tipo frame/xss/SQL injection/http dubbie.
- 410 : riferimenti web (russo, cinese o altri siti) o parole chiave bloccata (nel caso in cui una delle tue pagine non venga visualizzata interamente, contattaci), vedrai il codice 206 aumentare di conseguenza...
- 429: limitazione delle richieste su file sensibili wp-login.php /ex, ma non solo.
- 444: per fermare i bot, e config.php /ex file URL.
- 499: il visitatore o la rete non hanno trasmesso la risposta in tempo, la connessione è chiusa. Eccessiva connessione IP può anche causare questo.
- 503 : Troppe richieste, usate dai plugin anti-ddo, ma anche altre garanzie in noi.
Se avete poco o un sacco di traffico legittimo, il numero di traffico bloccato dal nostro sistema può essere molto variabile da un sito all'altro, dal 10-15% al triplo!
Leggi: https://support.yoorshop.hosting/knowledgebase/2464/Blocco-di-traffico-per-Paese.html
Allora dovete aver creato un file robots.txt che vi permette di limitare il traffico legato ai robot della rete, e alcuni di loro non hanno buone intenzioni: cercano difetti sul vostro sito web e/o disperdete il vostro sito web, e quindi le sue risorse, questo può anche prevenire Ddos soft-type...
Abbiamo preso un esempio di un sito sul nostro server utilizzando CMS spip su cui abbiamo notato un alto livello di risorse usate, quindi abbiamo semplicemente analizzato il traffico awstat di cpanel per vedere se era normale / legittimo. Il problema su questo sito è evidente come mostrato nella cattura, si osserva che una gamma IP russa è responsabile di tutto questo: questo rivela che un robot dello stesso editore è impegnato nel traffico zombie su questo particolare sito. Controlliamo l'identità di uno degli IP con cautela (se hosting company = robot):
https://apps.db.ripe.net/db-web-ui/#/query
Al fine di bloccare tutte le visite da questo intervallo IP (perché questi sono più IP in questo caso), in cpanel, andare a bloccanti IP e digitare l'intervallo IP un po 'più ampio. Non bloccare eccessivamente né troppe spiagge IP né troppo IP, questo danneggia le prestazioni del tuo sito, contattateci se avete ambizioni di bloccare grandi intervalli, faremo qualcosa al livello Nginx....
Una volta fatto, si vedrà nella sezione Errori di cPanel che questo traffico è ora bloccato per questi IP.
Ecco la parte principale del file più importante (si lavorerà solo con questo anche se si può fare meglio), vale a dire l'elenco dei robot che si può automaticamente non autorizzare:
User-agent: 008
User-agent: Alexibot
User-agent: AlvinetSpider
User-agent: Antenne Hatena
User-agent: ApocalXExplorerBot
User-agent: asterias
User-agent: BackDoorBot/1.0
User-agent: BizInformation
User-agent: Black Hole
User-agent: BlowFish/1.0
User-agent: BotALot
User-agent: BuiltBotTough
User-agent: Bullseye/1.0
User-agent: BunnySlippers
User-agent: Cegbfeieh
User-agent: CheeseBot
User-agent: CherryPicker
User-agent: CherryPickerElite/1.0
User-agent: CherryPickerSE/1.0
User-agent: CopyRightCheck
User-agent: cosmos
User-agent: Crescent
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
User-agent: DISCo Pump 3.1
User-agent: DittoSpyder
User-agent: dotbot
User-agent: EmailCollector
User-agent: EmailSiphon
User-agent: EmailWolf
User-agent: EroCrawler
User-agent: ExtractorPro
User-agent: Flamingo_SearchEngine
User-agent: Foobot
User-agent: Harvest/1.5
User-agent: hloader
User-agent: httplib
User-agent: HTTrack
User-agent: HTTrack 3.0
User-agent: humanlinks
User-agent: Igentia
User-agent: InfoNaviRobot
User-agent: JennyBot
User-agent: JikeSpider
User-agent: Kenjin Spider
User-agent: LexiBot
User-agent: libWeb/clsHTTP
User-agent: LinkextractorPro
User-agent: LinkScan/8.1a Unix
User-agent: LinkWalker
User-agent: lwp-trivial
User-agent: lwp-trivial/1.34
User-agent: Mata Hari
User-agent: Microsoft URL Control - 5.01.4511
User-agent: Microsoft URL Control - 6.00.8169
User-agent: MIIxpc
User-agent: MIIxpc/4.2
User-agent: Mister PiX
User-agent: MLBot
User-agent: moget
User-agent: moget/2.1
User-agent: MS Search 4.0 Robot
User-agent: MS Search 5.0 Robot
User-agent: Naverbot
User-agent: NetAnts
User-agent: NetAttache
User-agent: NetMechanic
User-agent: NICErsPRO
User-agent: Offline Explorer
User-agent: Openfind
User-agent: OpenindexSpider
User-agent: ProPowerBot/2.14
User-agent: ProWebWalker
User-agent: psbot
User-agent: QuepasaCreep
User-agent: QueryN Metasearch
User-agent: RepoMonkey
User-agent: RMA
User-agent: SemrushBot
User-agent: SightupBot
User-agent: SiteBot
User-agent: SiteSnagger
User-agent: SiteSucker
User-agent: Sogou web spider
User-agent: sosospider
User-agent: SpankBot
User-agent: spanner
User-agent: Speedy
User-agent: suggybot
User-agent: SuperBot
User-agent: SuperBot/2.6
User-agent: suzuran
User-agent: Szukacz/1.4
User-agent: Teleport
User-agent: Telesoft
User-agent: The Intraformant
User-agent: TheNomad
User-agent: TightTwatBot
User-agent: Titan
User-agent: toCrawl/UrlDispatcher
User-agent: TosCrawler
User-agent: True_Robot
User-agent: True_Robot/1.0
User-agent: turingos
User-agent: TurnitinBot
User-agent: UrlPouls
User-agent: URLy Warning
User-agent: VCI
User-agent: Web Image Collector
User-agent: WebAuto
User-agent: WebBandit
User-agent: WebBandit/3.50
User-agent: WebCopier
User-agent: webcopy
User-agent: WebEnhancer
User-agent: WebmasterWorldForumBot
User-agent: webmirror
User-agent: WebReaper
User-agent: WebSauger
User-agent: website extractor
User-agent: Website Quester
User-agent: Webster Pro
User-agent: WebStripper
User-agent: WebStripper/2.02
User-agent: WebZip
User-agent: wget
User-agent: WikioFeedBot
User-agent: WinHTTrack
User-agent: WWW-Collector-E
User-agent: Xenu Link Sleuth/1.3.8
User-agent: yacy
User-agent: yandex
User-agent: YRSPider
User-agent: Zeus
User-agent: Zookabot
Disallow: /
Ecco la parte secondaria di esempio di cui hai bisogno per personalizzare secondo il tuo sito:User-agent: *
Disallow: /cgi-bin/
Disallow: /temp/
Disallow: /client.php
Sitemap: http://www.votresite.fr/sitemap.xml
Un'altra impostazione possibile, Nginxcreare il file nginx.conf, e mettere questo in:
if ($bad_bot = 1) {
return 444 "? beep boop ?";
}Quindi aprire il manager Nginx e fare clic su Linea di ricarica: nginx.conf ricarica
Un altro trucco è dire ai robot di esplorare il sito lentamente:
User-agent: *
Crawl-delay: 5
