Considerăm că acest articol este parțial depreciat, am văzut că cei mai dăunători roboți nu mai respectă robots.txt, așa că controlăm o parte la nivel de server, roboții obraznici sunt acum măturați cu forța! (analizam buștenii în mod regulat și întărim sistemul de filtrare). Puteți completa dacă este necesar cu fișierul local: robots.txt...
Pe 30.09.2016, având în vedere persistența traficului de spam rusesc, chinez/ex și a atacurilor de site, stabilim un bloc IP pe țară, citiți:https://support.yoorshop.hosting/knowledgebase/2464/Blocarea-traficului-in-functie-de-tara.html
Prestashop:
https://mypresta.eu/modules/administration-tools/block-ip-free
Wordpress:
https://fr.wordpress.org/plugins/iq-block-country/
Indiferent dacă site-ul dvs. este atacat sau nu, vă oferim diferite instrumente temporare sau permanente:
https://support.yoorshop.hosting/knowledgebase/3077/Sunteti-victima-unui-atac-DDoS.html
Rezultatul blocajelor noastre în awstats de cpanel (dar nu numai):
444 Eroare necunoscută 4 751 2.9 % 0
Vedeți-vă vizitele în timp real în cpanel (temă paper_lantern), secțiunea vizitatori, faceți clic pe ALL, apoi în butonul de setări din dreapta, faceți clic pe stare/stare, dez clic pe URL și referitor URL dacă este necesar pentru a vedea codurile de eroare, 294, 24, 4, 4, 4 și 4 410 pe paginile legitime/URL, contactați-ne ca să vedem ce putem face... Este complet normal să vedeți o listă de erori destul de semnificative în AWSTATS de cPanel, este mult trafic blocat din motive foarte specifice.
Și anume, pentru a limita viteza tuturor roboților atenți, puteți adăuga acest lucru la robots.txt după linia care conține User-agent: *, aceasta va indica o întârziere necesară de 5 secunde între fiecare pagină accesată cu crawlere:User-agent: *
Crawl-delay: 5
Folosim aceste coduri specifice pentru a ne găsi drumul:- 206: conținut parțial afișat, este o consecință a codului 410 de mai jos, contactați-ne. Atenție, este absolut normal să aveți un anumit număr de 206 în jurnalele dvs. când conținutul este preluat din exterior!
- 405: Se referă la solicitări discutabile de tip cadru/xss/injecție SQL/http.
- 410: referenți web (site-uri ruse, chineze sau alte) sau cuvinte cheie blocate (în cazul în care una dintre paginile dvs. nu este complet afișată, contactați-ne), veți vedea că codul 206 crește corespunzător...
- 429: limitarea cererilor pe fișierele sensibile wp-login.php /ex, dar nu numai.
- 444: pentru a opri roboții și fișierul URL config.php /ex.
- 499: vizitatorul sau rețeaua nu a transmis răspunsul la timp, conexiunea este închisă. Conexiunile IP excesive pot provoca acest lucru.
- 503: Prea multe solicitări, folosite de pluginurile anti-ddos, dar și alte soluții de securitate de la noi.
Indiferent dacă aveți puțin sau mult trafic legitim, numărul de trafic blocat de sistemul nostru poate varia foarte mult de la un site la altul, de la 10-15% până la triplu!
Citeste: https://support.yoorshop.hosting/knowledgebase/2464/Blocarea-traficului-in-functie-de-tara.html
Apoi, trebuie să fi configurat un fișier robots.txt care vă permite să limitați traficul privind roboții de rețea, iar unii dintre ei nu au intenții bune: caută defecte pe site-ul dvs. și/sau se ghemuiesc pe site-ul dvs. și, prin urmare, resursele sale, acest lucru poate preveni și tipul soft Ddos...
Am luat un exemplu de site pe serverul nostru folosind spip-ul CMS pe care am observat un nivel ridicat de resurse folosite, așa că pur și simplu am analizat traficul prin awstats al lui cpanel pentru a vedea dacă este normal/legitim. Problema de pe acest site este evidentă, așa cum se arată în captură, observăm că un interval IP rusesc este responsabil pentru toate acestea: acest lucru dezvăluie în mod clar că un robot de la același editor este implicat în traficul de zombi în special pe acest site. Verificăm identitatea unuia dintre IP-uri ca măsură de precauție (dacă compania de găzduire = roboți):
https://apps.db.ripe.net/db-web-ui/#/query
Pentru a bloca toate vizitele din acest interval de IP (deoarece este vorba de mai multe IP-uri în acest caz), în cpanel, accesați IP blockers și introduceți intervalul IP puțin mai larg. Nu blocați în mod excesiv prea multe intervale de IP sau prea multe IP-uri, acest lucru va deteriora performanța site-ului dvs., contactați-ne dacă aveți ambiții să blocați intervale mari, vom face ceva la nivel Nginx....
Odată terminat, veți vedea în secțiunea Erori din cPanel că acest trafic este acum blocat pentru aceste IP-uri.
Iată cea mai importantă parte principală a fișierului (doar va funcționa cu asta chiar dacă ne putem descurca mai bine), și anume lista de roboți pe care nu îi poți autoriza automat:
User-agent: 008
User-agent: Alexibot
User-agent: AlvinetSpider
User-agent: Antenne Hatena
User-agent: ApocalXExplorerBot
User-agent: asterias
User-agent: BackDoorBot/1.0
User-agent: BizInformation
User-agent: Black Hole
User-agent: BlowFish/1.0
User-agent: BotALot
User-agent: BuiltBotTough
User-agent: Bullseye/1.0
User-agent: BunnySlippers
User-agent: Cegbfeieh
User-agent: CheeseBot
User-agent: CherryPicker
User-agent: CherryPickerElite/1.0
User-agent: CherryPickerSE/1.0
User-agent: CopyRightCheck
User-agent: cosmos
User-agent: Crescent
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
User-agent: DISCo Pump 3.1
User-agent: DittoSpyder
User-agent: dotbot
User-agent: EmailCollector
User-agent: EmailSiphon
User-agent: EmailWolf
User-agent: EroCrawler
User-agent: ExtractorPro
User-agent: Flamingo_SearchEngine
User-agent: Foobot
User-agent: Harvest/1.5
User-agent: hloader
User-agent: httplib
User-agent: HTTrack
User-agent: HTTrack 3.0
User-agent: humanlinks
User-agent: Igentia
User-agent: InfoNaviRobot
User-agent: JennyBot
User-agent: JikeSpider
User-agent: Kenjin Spider
User-agent: LexiBot
User-agent: libWeb/clsHTTP
User-agent: LinkextractorPro
User-agent: LinkScan/8.1a Unix
User-agent: LinkWalker
User-agent: lwp-trivial
User-agent: lwp-trivial/1.34
User-agent: Mata Hari
User-agent: Microsoft URL Control - 5.01.4511
User-agent: Microsoft URL Control - 6.00.8169
User-agent: MIIxpc
User-agent: MIIxpc/4.2
User-agent: Mister PiX
User-agent: MLBot
User-agent: moget
User-agent: moget/2.1
User-agent: MS Search 4.0 Robot
User-agent: MS Search 5.0 Robot
User-agent: Naverbot
User-agent: NetAnts
User-agent: NetAttache
User-agent: NetMechanic
User-agent: NICErsPRO
User-agent: Offline Explorer
User-agent: Openfind
User-agent: OpenindexSpider
User-agent: ProPowerBot/2.14
User-agent: ProWebWalker
User-agent: psbot
User-agent: QuepasaCreep
User-agent: QueryN Metasearch
User-agent: RepoMonkey
User-agent: RMA
User-agent: SemrushBot
User-agent: SightupBot
User-agent: SiteBot
User-agent: SiteSnagger
User-agent: SiteSucker
User-agent: Sogou web spider
User-agent: sosospider
User-agent: SpankBot
User-agent: spanner
User-agent: Speedy
User-agent: suggybot
User-agent: SuperBot
User-agent: SuperBot/2.6
User-agent: suzuran
User-agent: Szukacz/1.4
User-agent: Teleport
User-agent: Telesoft
User-agent: The Intraformant
User-agent: TheNomad
User-agent: TightTwatBot
User-agent: Titan
User-agent: toCrawl/UrlDispatcher
User-agent: TosCrawler
User-agent: True_Robot
User-agent: True_Robot/1.0
User-agent: turingos
User-agent: TurnitinBot
User-agent: UrlPouls
User-agent: URLy Warning
User-agent: VCI
User-agent: Web Image Collector
User-agent: WebAuto
User-agent: WebBandit
User-agent: WebBandit/3.50
User-agent: WebCopier
User-agent: webcopy
User-agent: WebEnhancer
User-agent: WebmasterWorldForumBot
User-agent: webmirror
User-agent: WebReaper
User-agent: WebSauger
User-agent: website extractor
User-agent: Website Quester
User-agent: Webster Pro
User-agent: WebStripper
User-agent: WebStripper/2.02
User-agent: WebZip
User-agent: wget
User-agent: WikioFeedBot
User-agent: WinHTTrack
User-agent: WWW-Collector-E
User-agent: Xenu Link Sleuth/1.3.8
User-agent: yacy
User-agent: yandex
User-agent: YRSPider
User-agent: Zeus
User-agent: Zookabot
Disallow: /
Iată partea secundară ca exemplu pe care trebuie să o personalizați în funcție de site-ul dvs.:User-agent: *
Disallow: /cgi-bin/
Disallow: /temp/
Disallow: /client.php
Sitemap: http://www.votresite.fr/sitemap.xml
Encore un réglage possible, par Nginx, créez le fichier nginx.conf, et mettez ceci dedans :
if ($bad_bot = 1) {
return 444 "? beep boop ?";
}Apoi, deschideți managerul Nginx și faceți clic pe Reîncărcați linia: nginx.conf reîncărcați
Un alt truc este să le spuneți roboților să acceseze cu crawlere site-ul încet:
User-agent: *
Întârziere accesare cu crawlere: 5
