Vi betraktar denna artikel som delvis nedvärderad, vi har sett att de mest skadliga robotarna inte längre respekterar robotarna.txt, så vi kontrollerar en del på servernivå, de elaka robotarna sopas nu med kraft! (vi analyserar regelbundet loggar och förstärker filterenheten). Du kan komplettera med din lokala fil: robotar.tXt...
Den 30:e /09/2016, inför uthålligheten av ryska skräppost, Kinesiska /ex och attacker av webbplatser, vi sätter upp en blockering av IP land, läs:https://support.yoorshop.hosting/knowledgebase/2464/Blockera-trafik-efter-land.html
PrestaShop:
https://mypresta.eu/modules/administration-tools/block-ip-free
WordPress:
https://fr.wordpress.org/plugins/iq-block-country/
Om din webbplats attackeras eller inte, erbjuder vi dig olika tillfälliga verktyg, eller permanenta verktyg:
https://support.yoorshop.hosting/knowledgebase/3077/Ar-du-utsatt-for-en-DDoS-attack.html
Resultat av våra blockeringar i awstats av cpanel (men inte bara):
444 Unknown error 4 751 2.9 % 0
Se dina besök i realtid i cpanel (Tema papper_lantern), besöksavsnitt, klicka på ALL och sedan i knappen högerinställningar, Klicka status/status, avklicka URL och URL Ändra vid behov för att se felkoder, och om du ser 444, 429, 405, 410 på sidor/ URL Kontakta oss så att vi kan se vad vi kan göra. AWSTATS från cPanel, det finns en hel del blockerad trafik av mycket specifika skäl.
För att begränsa hastigheten på alla noggrant övervakade robotar kan du lägga till detta till din robot.txt efter raden som innehåller User-agent: *, kommer detta att indikera en 5 sekunders fördröjning mellan varje utforskad sida:User-agent: *
Crawl-delay: 5
Vi använder dessa specifika koder för att identifiera oss:- 206: Delinnehåll visas, det är en konsekvens av koden 410 nedan, kontakta oss. Varning, det finns helt normalt att ha ett antal 206 i dina loggar när innehåll tas från utsidan!
- 405: Ansluter tvivelaktiga krav av ramtyp /xss/injection SQL http.
- 410: Webbreflektorer (ryska, kinesiska eller andra) eller blockerade nyckelord (om någon av dina sidor inte visas helt, kontakta oss) kommer du att se kod 206 öka i enlighet med detta...
- 429: begränsning av förfrågningar om känsliga filer wp-login.php /ex, men inte bara.
- 444: för att stoppa boots, och URL fil från config.php /t.ex.
- 499: Besökaren eller nätverket har inte skickat svaret i tid, anslutningen är stängd. För stora anslutningar av en IP kan också orsaka detta.
- 503: För många frågor, används av plugin anti- ddos, men andra säkerhet hos oss också.
Oavsett om du har lite eller många legitima trafik, kan det antal trafik som blockeras av vårt system komma ut mycket varierande från en plats till en annan, från 10-15% till tre!
Läs: https://support.yoorshop.hosting/knowledgebase/2464/Blockera-trafik-efter-land.html
Sedan måste du ha installerat en robotfil.txt som gör det möjligt att begränsa trafiken med nätverksrobotar, och en del av dem har inte goda avsikter: de letar efter kryphål på din webbplats och/eller squoterar din webbplats, och därmed dess resurser, detta kan också förhindra Ddos av mild typ...
Vi tog ett exempel på en webbplats på vår server som använder CMS spip som vi har lagt märke till en hög nivå av använda resurser, så vi har bara analyserat traffic genom awstats av cpanel För att se om det var normalt/rättmätigt. Problemet på denna plats är uppenbart som visas i fångsten, observerar att ett intervall av IP Ryssarna är ansvariga för allt detta: Detta visar att en robot från samma utgivare bedriver zombietrafik på just denna webbplats. Vi kontrollerar identiteten på en av IP av försiktighet (om Hosting Society = robotar):
https://apps.db.ripe.net/db-web-ui/#/query
För att blockera alla besök från detta område IPs (eftersom det rör sig om flera IPs i detta fall), cpanel, gå till blockerare av IPs och skriv in stranden IP Lite bredare. Inte blockera alltför mycket eller för många stränder IP eller för mycket IP, Detta kommer att försämra din webbplats prestanda, kontakta oss om du har ambitioner att blockera stora förvaringar, Vi kommer att göra något på nivå Nginx....
När du har gjort det kommer du att se i avsnittet Fel i cPanel Att denna trafik nu är blockerad för IPs.
Här är den primära delen av den viktigaste filen (det kommer bara att fungera med detta även om vi kan göra bättre), dvs listan över robotar som du automatiskt kan inte tillåta:
User-agent: 008
User-agent: Alexibot
User-agent: AlvinetSpider
User-agent: Antenne Hatena
User-agent: ApocalXExplorerBot
User-agent: asterias
User-agent: BackDoorBot/1.0
User-agent: BizInformation
User-agent: Black Hole
User-agent: BlowFish/1.0
User-agent: BotALot
User-agent: BuiltBotTough
User-agent: Bullseye/1.0
User-agent: BunnySlippers
User-agent: Cegbfeieh
User-agent: CheeseBot
User-agent: CherryPicker
User-agent: CherryPickerElite/1.0
User-agent: CherryPickerSE/1.0
User-agent: CopyRightCheck
User-agent: cosmos
User-agent: Crescent
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
User-agent: DISCo Pump 3.1
User-agent: DittoSpyder
User-agent: dotbot
User-agent: EmailCollector
User-agent: EmailSiphon
User-agent: EmailWolf
User-agent: EroCrawler
User-agent: ExtractorPro
User-agent: Flamingo_SearchEngine
User-agent: Foobot
User-agent: Harvest/1.5
User-agent: hloader
User-agent: httplib
User-agent: HTTrack
User-agent: HTTrack 3.0
User-agent: humanlinks
User-agent: Igentia
User-agent: InfoNaviRobot
User-agent: JennyBot
User-agent: JikeSpider
User-agent: Kenjin Spider
User-agent: LexiBot
User-agent: libWeb/clsHTTP
User-agent: LinkextractorPro
User-agent: LinkScan/8.1a Unix
User-agent: LinkWalker
User-agent: lwp-trivial
User-agent: lwp-trivial/1.34
User-agent: Mata Hari
User-agent: Microsoft URL Control - 5.01.4511
User-agent: Microsoft URL Control - 6.00.8169
User-agent: MIIxpc
User-agent: MIIxpc/4.2
User-agent: Mister PiX
User-agent: MLBot
User-agent: moget
User-agent: moget/2.1
User-agent: MS Search 4.0 Robot
User-agent: MS Search 5.0 Robot
User-agent: Naverbot
User-agent: NetAnts
User-agent: NetAttache
User-agent: NetMechanic
User-agent: NICErsPRO
User-agent: Offline Explorer
User-agent: Openfind
User-agent: OpenindexSpider
User-agent: ProPowerBot/2.14
User-agent: ProWebWalker
User-agent: psbot
User-agent: QuepasaCreep
User-agent: QueryN Metasearch
User-agent: RepoMonkey
User-agent: RMA
User-agent: SemrushBot
User-agent: SightupBot
User-agent: SiteBot
User-agent: SiteSnagger
User-agent: SiteSucker
User-agent: Sogou web spider
User-agent: sosospider
User-agent: SpankBot
User-agent: spanner
User-agent: Speedy
User-agent: suggybot
User-agent: SuperBot
User-agent: SuperBot/2.6
User-agent: suzuran
User-agent: Szukacz/1.4
User-agent: Teleport
User-agent: Telesoft
User-agent: The Intraformant
User-agent: TheNomad
User-agent: TightTwatBot
User-agent: Titan
User-agent: toCrawl/UrlDispatcher
User-agent: TosCrawler
User-agent: True_Robot
User-agent: True_Robot/1.0
User-agent: turingos
User-agent: TurnitinBot
User-agent: UrlPouls
User-agent: URLy Warning
User-agent: VCI
User-agent: Web Image Collector
User-agent: WebAuto
User-agent: WebBandit
User-agent: WebBandit/3.50
User-agent: WebCopier
User-agent: webcopy
User-agent: WebEnhancer
User-agent: WebmasterWorldForumBot
User-agent: webmirror
User-agent: WebReaper
User-agent: WebSauger
User-agent: website extractor
User-agent: Website Quester
User-agent: Webster Pro
User-agent: WebStripper
User-agent: WebStripper/2.02
User-agent: WebZip
User-agent: wget
User-agent: WikioFeedBot
User-agent: WinHTTrack
User-agent: WWW-Collector-E
User-agent: Xenu Link Sleuth/1.3.8
User-agent: yacy
User-agent: yandex
User-agent: YRSPider
User-agent: Zeus
User-agent: Zookabot
Disallow: /
Här är den sekundära delen till exempel som du måste anpassa enligt din webbplats:User-agent: *
Disallow: /cgi-bin/
Disallow: /temp/
Disallow: /client.php
Sitemap: http://www.votresite.fr/sitemap.xml
Ännu en möjlig inställning av Nginx skapar du filen nginx.conf, och stoppa in det här:
if ($bad_bot = 1) {
return 444 "? beep boop ?";
}Öppna sen. Nginx Manager, och klicka på Reload rad: nginx.conf reload
Ett annat trick är att säga till robotarna att utforska platsen långsamt:
User-agent: *
Crawl-delay: 5
