Wir halten diesen Artikel für teilweise veraltet, wir haben gesehen, dass die schädlichsten Roboter robots.txt nicht mehr respektieren, also kontrollieren wir einen Teil auf Serverebene, die fiesen Roboter werden jetzt mit Gewalt weggefegt! (Wir analysieren die Protokolle regelmäßig und verstärken das Filtersystem). Sie können bei Bedarf Ihre lokale Datei ergänzen: robots.txt...
Am 30/09/2016Angesichts richten wir angesichts des anhaltenden russischen, chinesischen /ex-Spam-Verkehrs und Site-Angriffen eine Blockierung nach Länder-IP ein, lesen Sie:https://support.yoorshop.hosting/knowledgebase/2464/Datenverkehr-nach-Laendern-blockieren.html
Prestashop :
https://mypresta.eu/modules/administration-tools/block-ip-free
Wordpress :
https://fr.wordpress.org/plugins/iq-block-country/
Unabhängig davon, ob Ihre Website angegriffen wird oder nicht, bieten wir Ihnen verschiedene temporäre oder permanente Tools an:
https://support.yoorshop.hosting/knowledgebase/3077/Steht-Ihre-Website-unter-einem-DDoS-Angriff.html
Ergebnis unserer Blockaden in awstats cpanel (aber nicht nur):
444 Unbekannter Fehler 4 751 2.9 % 0
Sehen Sie sich Ihre Besuche in Echtzeit anin cpanel (Paper_lantern-Theme), Besucherbereich, klicken Sie auf ALLE, dann in der Einstellungsschaltfläche rechts,klicken Sie auf Status/Status, deaktivieren Sie ggf. URL und URL-Referrer, um die Fehlercodes anzuzeigen. Wenn Sie 444, 429, 405, 410 auf legitimen Seiten/URLs, kontaktieren Sie uns, damit wir sehen können, was wir tun können ... Es ist völlig normal, eine Liste mit ziemlich großen Fehlern in AWSTATS von cPanel zu sehen, es wird aus ganz bestimmten Gründen viel Datenverkehr blockiert.
Um nämlich die Geschwindigkeit aller aufmerksamen Roboter zu begrenzen, können Sie dies zu Ihrer robots.txt nach der Zeile mit User-agent: * hinzufügen, dies zeigt eine erforderliche Verzögerung von an 5 Sekunden zwischen jeder gecrawlten Seite:Benutzeragent: *
Crawl-Verzögerung: 5
Wir verwenden diese spezifischen Codes, um unseren Weg zu finden:- 206: Teilinhalt wird angezeigt, es ist eine Folge des Codes 410 unten, kontaktieren Sie uns. Seien Sie vorsichtig, es ist völlig normal, eine bestimmte Anzahl von 206-Fehlern in Ihren Protokollen zu haben, wenn Inhalte von außen übernommen werden!
- 405: Betrifft zweifelhafte Frame/xss/injection SQL/http-Typabfragen.
- 410: Web-Referenzen (Russisch, Chinesisch oder andere Websites) oder Schlüsselwörter blockiert (falls eine Ihrer Seiten nicht vollständig angezeigt wird, kontaktieren Sie uns), Sie werden sehen, dass sich der Code 206 entsprechend erhöht...
- 429: Einschränkung der Anfragen für sensible Dateien wp-login.php /ex, aber nicht nur.
- 444: um Bots zu stoppen, und Datei-URL von config.php /ex.
- 499: Der Besucher oder das Netzwerk hat die Antwort nicht rechtzeitig übermittelt, die Verbindung ist geschlossen. Dies kann auch durch übermäßige IP-Verbindungen verursacht werden.
- 503: Zu viele Anfragen, verwendet von Anti-ddos-Plugins, aber auch anderen Sicherheitsmaßnahmen von uns.
Unabhängig davon, ob Sie wenig oder viel legitimen Datenverkehr haben, kann die Anzahl des von unserem System blockierten Datenverkehrs von einer Website zur anderen stark variieren, von 10-15 % bis zum Dreifachen!
Lesen Sie: https://support.yoorshop.hosting/knowledgebase/2464/Datenverkehr-nach-Laendern-blockieren.html
Als nächstes müssen Sie eine robots.txt-Datei eingerichtet haben, die es Ihnen ermöglicht, den Datenverkehr bezüglich Netzwerk-Robots zu begrenzen, und einige von ihnen haben keine guten Absichten: Sie suchen nach Fehlern auf Ihrer Website und/oder besetzen Ihre Website und damit deren Ressourcen. Dies kann auch den Soft-Typ Ddos verhindern...
Wir haben ein Beispiel einer Site auf unserem Server genommen, die das verwendet CMS spip, bei dem wir einen hohen Ressourcenverbrauch festgestellt haben, haben wir daher einfach den Datenverkehr mithilfe von awstats analysiert cpanel um zu sehen, ob es normal/legitim war. Das Problem auf dieser Site ist offensichtlich, wie in der Aufnahme gezeigt wird. Wir stellen fest, dass für all dies ein russischer IP-Bereich verantwortlich ist: Dies zeigt deutlich, dass ein Roboter desselben Herausgebers speziell auf dieser Site im Zombie-Verkehr tätig ist. Wir überprüfen vorsorglich die Identität einer der IPs (wenn Hosting-Unternehmen = Robots):
https://apps.db.ripe.net/db-web-ui/#/query
Um alle Besuche aus diesem IP-Bereich zu blockieren (da es sich in diesem Fall um mehrere IPs handelt), in cpanel, gehen Sie zu IP-Blockern und geben Sie den IP-Bereich etwas weiter ein. Blockieren Sie nicht übermäßig viele IP-Bereiche oder zu viele IPs, da dies die Leistung Ihrer Website beeinträchtigt. Kontaktieren Sie uns, wenn Sie Ambitionen haben, große Bereiche zu blockieren. Wir werden auf dieser Ebene etwas unternehmen Nginx....
Sobald Sie fertig sind, sehen Sie im Abschnitt „Fehler“ Folgendes cPanel dass dieser Datenverkehr nun für diese IPs blockiert ist.
Hier ist der wichtigste Hauptteil der Datei (es wird damit funktionieren, auch wenn wir es besser machen können), nämlich die Liste der Roboter, die Sie automatisch nicht autorisieren können:
Benutzeragent: 008
Benutzeragent: Alexibot
Benutzeragent: AlvinetSpider
User-Agent: Antenne Hatena
Benutzeragent: ApocalXExplorerBot
Benutzeragent: Asterias
Benutzeragent: BackDoorBot/1.0
Benutzeragent: BizInformation
Benutzeragent: Black Hole
Benutzeragent: BlowFish/1.0
Benutzeragent: BotALot
Benutzeragent: BuiltBotTough
Benutzeragent: Bullseye/1.0
Benutzeragent: BunnySlippers
Benutzeragent: Cegbfeieh
Benutzeragent: CheeseBot
Benutzeragent: CherryPicker
Benutzeragent: CherryPickerElite/1.0
Benutzeragent: CherryPickerSE/1.0
Benutzeragent: CopyRightCheck
Benutzeragent: Kosmos
Benutzeragent: Crescent
Benutzeragent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Benutzeragent: DISCo Pump 3.1
Benutzeragent: DittoSpyder
Benutzeragent: dotbot
Benutzeragent: EmailCollector
Benutzeragent: EmailSiphon
Benutzeragent: EmailWolf
Benutzeragent: EroCrawler
Benutzeragent: ExtractorPro
Benutzeragent: Flamingo_SearchEngine
Benutzeragent: Foobot
Benutzeragent: Harvest/1.5
Benutzeragent:hloader
Benutzeragent: httplib
Benutzeragent: HTTrack
Benutzeragent: HTTrack 3.0
Benutzeragent: Humanlinks
Benutzeragent: Igentia
Benutzeragent: InfoNaviRobot
Benutzeragent: JennyBot
Benutzeragent: JikeSpider
Benutzeragent: Kenjin Spider
Benutzeragent: LexiBot
Benutzeragent: libWeb/clsHTTP
Benutzeragent: LinkextractorPro
Benutzeragent: LinkScan/8.1a Unix
Benutzeragent: LinkWalker
Benutzeragent: lwp-trivial
Benutzeragent: lwp-trivial/1.34
Benutzeragent: Mata Hari
Benutzeragent: Microsoft URL Control – 5.01.4511
Benutzeragent: Microsoft URL Control – 6.00.8169
Benutzeragent: MIIxpc
Benutzeragent: MIIxpc/4.2
Benutzeragent: Mister PiX
Benutzeragent: MLBot
Benutzeragent: moget
Benutzeragent: moget/2.1
Benutzeragent: MS Search 4.0 Robot
Benutzeragent: MS Search 5.0 Robot
Benutzeragent: Naverbot
Benutzeragent: NetAnts
Benutzeragent: NetAttach
Benutzeragent: NetMechanic
Benutzeragent: NICErsPRO
Benutzeragent: Offline Explorer
Benutzeragent: Openfind
Benutzeragent: OpenindexSpider
Benutzeragent: ProPowerBot/2.14
Benutzeragent: ProWebWalker
Benutzeragent: psbot
Benutzeragent: QuepasaCreep
Benutzeragent: QueryN Metasearch
Benutzeragent: RepoMonkey
Benutzeragent: RMA
Benutzeragent: SemrushBot
Benutzeragent: SightupBot
Benutzeragent: SiteBot
Benutzeragent: SiteSnagger
Benutzeragent: SiteSucker
Benutzeragent: Sogou-Webspinne
Benutzeragent: sosospider
Benutzeragent: SpankBot
Benutzeragent: Schraubenschlüssel
Benutzeragent: Speedy
Benutzeragent: suggybot
Benutzeragent: SuperBot
Benutzeragent: SuperBot/2.6
Benutzeragent: suzuran
Benutzeragent: Szukacz/1.4
Benutzeragent: Teleport
Benutzeragent: Telesoft
Benutzeragent: Der Intraformant
Benutzeragent: TheNomad
Benutzeragent: TightTwatBot
Benutzeragent: Titan
Benutzeragent: toCrawl/UrlDispatcher
Benutzeragent: TosCrawler
Benutzeragent: True_Robot
Benutzeragent: True_Robot/1.0
Benutzeragent: Turingos
Benutzeragent: TurnitinBot
Benutzeragent: UrlPouls
Benutzeragent: URLy-Warnung
Benutzeragent: VCI
Benutzeragent: Web Image Collector
Benutzeragent: WebAuto
Benutzeragent: WebBandit
Benutzeragent: WebBandit/3.50
Benutzeragent: WebCopier
Benutzeragent: Webcopy
Benutzeragent: WebEnhancer
Benutzeragent: WebmasterWorldForumBot
Benutzeragent: Webmirror
Benutzeragent: WebReaper
Benutzeragent: WebSauger
Benutzeragent: Website-Extraktor
Benutzeragent: Website Quester
Benutzeragent: Webster Pro
Benutzeragent: WebStripper
Benutzeragent: WebStripper/2.02
Benutzeragent: WebZip
Benutzeragent:wget
Benutzeragent: WikioFeedBot
Benutzeragent: WinHTTrack
Benutzeragent: WWW-Collector-E
Benutzeragent: Xenu Link Sleuth/1.3.8
Benutzeragent: yacy
Benutzeragent: Yandex
Benutzeragent: YRSPider
Benutzeragent: Zeus
Benutzeragent: Zookabot
Nicht zulassen: /
Hier ist der sekundäre Teil als Beispiel, den Sie entsprechend Ihrer Website anpassen müssen:Benutzeragent: *
Nicht zulassen: /cgi-bin/
Nicht zulassen: /temp/
Nicht zulassen: /client.php
Sitemap: http://www.votresite.fr/sitemap.xml
Eine weitere mögliche Einstellung: Erstellen Sie mit Nginx die Datei nginx.conf und fügen Sie Folgendes ein:
if ($bad_bot = 1) {
return 444 „? beep boop?“;
}Öffnen Sie dann den Nginx-Manager und klicken Sie auf Zeile neu laden: nginx.conf neu laden
Ein weiterer Trick besteht darin, den Bots anzuweisen, die Website langsam zu crawlen:
Benutzeragent: *
Crawling-Verzögerung: 5
