geleneksel yontem robots.txt - allow/disallow. wordpress icin “blackhole for bad bots” diye bir plugin var ona da bakabilirsiniz hiz kazandirabilir. (boylece buyuk arama motorlarinin botlarini otomatik allowlamis olursunuz) zaman varsa awk ile apache access loglarini detaylica incelemeniz yararli olabilir. ornegin web botlar tarama maksadiyla girip cikiyor ok. fakat wp’ye login atak yapiyorlar mi ??? veya bir forma kaydolmaya calisiliyor mu ? ip’ler tespit edilirse firewall’dan da engellemek mumkun
erdem yurtçuoğlu > On 31 Oct 2018, at 17:38, [email protected] wrote: > > Linux-sunucu listesi mesajlarını şu adrese gönderin: > [email protected] > > World Wide Web ile üye olmak veya üyelikten çıkmak için şu sayfayı > ziyaret edin: > https://liste.linux.org.tr/mailman/listinfo/linux-sunucu > veya e-posta yoluyla konusunda veya gövdesinde 'help' yazan bir mesajı > şu adrese gönderin: > [email protected] > > Bu listeyi yöneten kişiye şu adresten ulaşabilirsiniz: > [email protected] > > Yanıt yazarken, lütfen Konu satırını düzenleyerek şu tür bir şekilden > daha belirli olmasını sağlayın: "Ynt: Linux-sunucu toplu mesajının > içeriği..." > > > > Günün Konuları: > > 1. WordPress ve botlar (Abdullah Ülker (Yandex)) > 2. Re: WordPress ve botlar (Zekeriya Akyıldız) > 3. Re: WordPress ve botlar (Abdullah Ülker (Yandex)) > 4. Re: WordPress ve botlar (VEDAT ELCIGIL) > 5. Re: WordPress ve botlar (Abdullah Ülker (Yandex)) > 6. Re: WordPress ve botlar (Red) > > > ---------------------------------------------------------------------- > > Message: 1 > Date: Wed, 31 Oct 2018 16:05:48 +0300 > From: Abdullah Ülker (Yandex) <[email protected]> > Subject: [Linux-sunucu] WordPress ve botlar > To: "Linux-sunucu-listesi" <[email protected]> > Message-ID: > <[email protected]> > Content-Type: text/plain; format=flowed; charset="UTF-8" > > Merhaba > > Yüksek hitli bir sitede devamlı surette web botlar aşırı trafik > oluşturmaktadır. > > Robots.txt işe yaramıyor. > > Botların siteyi taramalarini engellemek için önerileriniz varmıdır? > > Sizler nasıl tedbirler alıyorsunuz? > > Sistem: Ubuntu apache WordPress. > > > > > ------------------------------ > > Message: 2 > Date: Wed, 31 Oct 2018 16:18:04 +0300 > From: Zekeriya Akyıldız <[email protected]> > Subject: [Linux-sunucu] Re: WordPress ve botlar > To: [email protected] > Message-ID: > <CA+kZ7_T6_a=oJM2pH75vY6wEymqp3bZve=whzwwrq4aws_v...@mail.gmail.com> > Content-Type: text/plain; charset="utf-8" > > Robots.txt ve sitemap.xml dosyalarinin olduguna dikkat edin. Ayrica hangi > botlarin oldugunu biliyorsaniz o firmanin dokumantasyonunu okuyun, mesela > bing size bir dosya olusturmanizi oneriyor. > > Baahsettiginiz sey trackback ve cross link ise durum başka. Htaacess veya > apache/nginx ile baska cozumler bakmaniz gerekebilir. > > On Wed, Oct 31, 2018, 16:08 Abdullah Ülker (Yandex) < > [email protected] wrote: > >> Merhaba >> >> Yüksek hitli bir sitede devamlı surette web botlar aşırı trafik >> oluşturmaktadır. >> >> Robots.txt işe yaramıyor. >> >> Botların siteyi taramalarini engellemek için önerileriniz varmıdır? >> >> Sizler nasıl tedbirler alıyorsunuz? >> >> Sistem: Ubuntu apache WordPress. >> >> >> _______________________________________________ >> Linux-sunucu E-Posta Listesi >> [email protected] >> >> Liste kurallarını http://liste.linux.org.tr/kurallar.php bağlantısından >> okuyabilirsiniz; >> >> Bu Listede neden bulunduğunuzu bilmiyorsanız veya artık bu listeden gelen >> e-postaları almak istemiyorsanız aşağıdaki bağlantı adresini kullanarak 1 >> dakika içinde üyeliğinizi sonlandırabilirsiniz. >> https://liste.linux.org.tr/mailman/listinfo/linux-sunucu >> > -------------- sonraki b? -------------- > Bir HTML eklentisi temizlendi... > URL: > http://liste.linux.org.tr/pipermail/linux-sunucu/attachments/20181031/a73234e4/attachment-0001.html > > > ------------------------------ > > Message: 3 > Date: Wed, 31 Oct 2018 16:38:42 +0300 > From: Abdullah Ülker (Yandex) <[email protected]> > Subject: [Linux-sunucu] Re: WordPress ve botlar > To: <[email protected]> > Message-ID: > <[email protected]> > Content-Type: text/plain; format=flowed; charset="UTF-8" > > Sitemap eklentisi mevcut. > sitemap.xml sanal olarak oluşturuluyor. > Google Sitemap Generator Plugin > Örnek : http://www.getgnu.org/sitemap.xml > > Bu sistem için dezavantaj midir > > > > > ------------------------------ > > Message: 4 > Date: Wed, 31 Oct 2018 17:03:12 +0300 > From: VEDAT ELCIGIL <[email protected]> > Subject: [Linux-sunucu] Re: WordPress ve botlar > To: [email protected] > Message-ID: > <CAF=mFyg1hqg+3iG_AQT5PqzgXtRuCFF2AjJKRdF=xzh+hem...@mail.gmail.com> > Content-Type: text/plain; charset="utf-8" > > merhaba Abdullah bey, > > reverse proxy nedir diye bir araştırma yapın. ihtiyacınız olan sey bu. > > ben nginx ile botların cpu yu tavan yapmasını engelliyerek normal seviyeye > düşürdüm. > > birde sesion time out parametre sinden süreyi kısaltın. > > ana sayfanızda bolca resim varsa top yapması normaldir. özellikle haber > siteleri apache yi yorar. bu bakımdan apache optimizasyon başlıklarına > bakmanız gerekiyor. > > ip başına sesion limit koyabilirsiniz. ama buda seo yu düşürür. seo ya > gerek yok derseniz uygulayın. > > > yatirim yapabiliyorsanız, custer yada load balance yapabilirsiniz. > > > Saygılarımla > Vedat ELÇİGİL > > > Bu mesaj cep telefonundan gönderilmiştir. > > On Wed, Oct 31, 2018, 16:08 Abdullah Ülker (Yandex) < > [email protected]> wrote: > >> Merhaba >> >> Yüksek hitli bir sitede devamlı surette web botlar aşırı trafik >> oluşturmaktadır. >> >> Robots.txt işe yaramıyor. >> >> Botların siteyi taramalarini engellemek için önerileriniz varmıdır? >> >> Sizler nasıl tedbirler alıyorsunuz? >> >> Sistem: Ubuntu apache WordPress. >> >> >> _______________________________________________ >> Linux-sunucu E-Posta Listesi >> [email protected] >> >> Liste kurallarını http://liste.linux.org.tr/kurallar.php bağlantısından >> okuyabilirsiniz; >> >> Bu Listede neden bulunduğunuzu bilmiyorsanız veya artık bu listeden gelen >> e-postaları almak istemiyorsanız aşağıdaki bağlantı adresini kullanarak 1 >> dakika içinde üyeliğinizi sonlandırabilirsiniz. >> https://liste.linux.org.tr/mailman/listinfo/linux-sunucu >> > -------------- sonraki b? -------------- > Bir HTML eklentisi temizlendi... > URL: > http://liste.linux.org.tr/pipermail/linux-sunucu/attachments/20181031/520dd035/attachment-0001.html > > > ------------------------------ > > Message: 5 > Date: Wed, 31 Oct 2018 17:43:22 +0300 > From: Abdullah Ülker (Yandex) <[email protected]> > Subject: [Linux-sunucu] Re: WordPress ve botlar > To: <[email protected]> > Message-ID: > <[email protected]> > Content-Type: text/plain; format=flowed; charset="UTF-8" > > Bir sitede nginx+apache kullaniyorum. Nginx 80 Portu dinliyor arkadaki > apacheye iletiyor. > Bu konuda sorun yok. > > Bir ara varnish denedik ama verim alamadık. > CPU yükü tavan yaptı. > > > Benim yapmak istediğim botları engellemek. > Zira belli bir ip engellendiginde ip değiştirip yeniden geliyor. > > SEO nun önemi yok. > > Sunucu stabil çalışsın istiyorum. > > Nginx için önerebileceginiz link varmı? > > Yada örnek yapılandırma dosyaları? > > > > 31 Ekim 2018 17:05:14 VEDAT ELCIGIL <[email protected]> yazdı: > >> merhaba Abdullah bey, >> >> reverse proxy nedir diye bir araştırma yapın. ihtiyacınız olan sey bu. >> >> ben nginx ile botların cpu yu tavan yapmasını engelliyerek normal seviyeye >> düşürdüm. >> >> birde sesion time out parametre sinden süreyi kısaltın. >> >> ana sayfanızda bolca resim varsa top yapması normaldir. özellikle haber >> siteleri apache yi yorar. bu bakımdan apache optimizasyon başlıklarına >> bakmanız gerekiyor. >> >> ip başına sesion limit koyabilirsiniz. ama buda seo yu düşürür. seo ya >> gerek yok derseniz uygulayın. >> >> >> yatirim yapabiliyorsanız, custer yada load balance yapabilirsiniz. >> >> >> Saygılarımla >> Vedat ELÇİGİL >> >> >> Bu mesaj cep telefonundan gönderilmiştir. >> >> On Wed, Oct 31, 2018, 16:08 Abdullah Ülker (Yandex) < >> [email protected]> wrote: >> >>> Merhaba >>> >>> Yüksek hitli bir sitede devamlı surette web botlar aşırı trafik >>> oluşturmaktadır. >>> >>> Robots.txt işe yaramıyor. >>> >>> Botların siteyi taramalarini engellemek için önerileriniz varmıdır? >>> >>> Sizler nasıl tedbirler alıyorsunuz? >>> >>> Sistem: Ubuntu apache WordPress. >>> >>> >>> _______________________________________________ >>> Linux-sunucu E-Posta Listesi >>> [email protected] >>> >>> Liste kurallarını http://liste.linux.org.tr/kurallar.php bağlantısından >>> okuyabilirsiniz; >>> >>> Bu Listede neden bulunduğunuzu bilmiyorsanız veya artık bu listeden gelen >>> e-postaları almak istemiyorsanız aşağıdaki bağlantı adresini kullanarak 1 >>> dakika içinde üyeliğinizi sonlandırabilirsiniz. >>> https://liste.linux.org.tr/mailman/listinfo/linux-sunucu >>> >> >> >> >> ---------- >> _______________________________________________ >> Linux-sunucu E-Posta Listesi >> [email protected] >> >> Liste kurallarını http://liste.linux.org.tr/kurallar.php bağlantısından >> okuyabilirsiniz; >> >> Bu Listede neden bulunduğunuzu bilmiyorsanız veya artık bu listeden gelen >> e-postaları almak istemiyorsanız aşağıdaki bağlantı adresini kullanarak 1 >> dakika içinde üyeliğinizi sonlandırabilirsiniz. >> https://liste.linux.org.tr/mailman/listinfo/linux-sunucu >> > > > > > ------------------------------ > > Message: 6 > Date: Wed, 31 Oct 2018 18:36:30 +0300 > From: Red <[email protected]> > Subject: [Linux-sunucu] Re: WordPress ve botlar > To: [email protected] > Message-ID: > <cahxsdf6+qkrmqlohahun6vhw6wotp++zpfk+anuy3krkj2n...@mail.gmail.com> > Content-Type: text/plain; charset="utf-8" > > Selamlar; > > Gelen botlara spesifik bir kural yazabilirsiniz. Biraz access_log okuduktan > sonra onlara ozel bir tanimlama yapabilirsiniz. Ben de genellikle nginx > reverse proxy kullaniyorum. > Ornek olarak. > > burada host kontrolu yapiyorum. (gercekte kontrol ettiklerim xxx yyy degil > tabi ki.) > > if ($host !~* ^(xxx.xxx.xxx|yyy.yyy.yyy)$ ) { > return 444; > } > > > ya da agent'a bakabilirsiniz. > > location / { > if ( $http_user_agent ~* 'Amazon Route 53 Health Check Service' ) { > access_log off; > return 200 'Service OK'; > } > > > ihtiyaciniz olan botlarin gelis sekline bakarak bir pattern yakalamak. > illaki host ya da agent olmak zorunda degil. $request_uri uzerinden de > birseyler yakalamak mumkun. > > > > On Wed, Oct 31, 2018 at 5:45 PM Abdullah Ülker (Yandex) < > [email protected]> wrote: > >> Bir sitede nginx+apache kullaniyorum. Nginx 80 Portu dinliyor arkadaki >> apacheye iletiyor. >> Bu konuda sorun yok. >> >> Bir ara varnish denedik ama verim alamadık. >> CPU yükü tavan yaptı. >> >> >> Benim yapmak istediğim botları engellemek. >> Zira belli bir ip engellendiginde ip değiştirip yeniden geliyor. >> >> SEO nun önemi yok. >> >> Sunucu stabil çalışsın istiyorum. >> >> Nginx için önerebileceginiz link varmı? >> >> Yada örnek yapılandırma dosyaları? >> >> >> >> 31 Ekim 2018 17:05:14 VEDAT ELCIGIL <[email protected]> yazdı: >> >>> merhaba Abdullah bey, >>> >>> reverse proxy nedir diye bir araştırma yapın. ihtiyacınız olan sey bu. >>> >>> ben nginx ile botların cpu yu tavan yapmasını engelliyerek normal >> seviyeye >>> düşürdüm. >>> >>> birde sesion time out parametre sinden süreyi kısaltın. >>> >>> ana sayfanızda bolca resim varsa top yapması normaldir. özellikle haber >>> siteleri apache yi yorar. bu bakımdan apache optimizasyon başlıklarına >>> bakmanız gerekiyor. >>> >>> ip başına sesion limit koyabilirsiniz. ama buda seo yu düşürür. seo ya >>> gerek yok derseniz uygulayın. >>> >>> >>> yatirim yapabiliyorsanız, custer yada load balance yapabilirsiniz. >>> >>> >>> Saygılarımla >>> Vedat ELÇİGİL >>> >>> >>> Bu mesaj cep telefonundan gönderilmiştir. >>> >>> On Wed, Oct 31, 2018, 16:08 Abdullah Ülker (Yandex) < >>> [email protected]> wrote: >>> >>>> Merhaba >>>> >>>> Yüksek hitli bir sitede devamlı surette web botlar aşırı trafik >>>> oluşturmaktadır. >>>> >>>> Robots.txt işe yaramıyor. >>>> >>>> Botların siteyi taramalarini engellemek için önerileriniz varmıdır? >>>> >>>> Sizler nasıl tedbirler alıyorsunuz? >>>> >>>> Sistem: Ubuntu apache WordPress. >>>> >>>> >>>> _______________________________________________ >>>> Linux-sunucu E-Posta Listesi >>>> [email protected] >>>> >>>> Liste kurallarını http://liste.linux.org.tr/kurallar.php >> bağlantısından >>>> okuyabilirsiniz; >>>> >>>> Bu Listede neden bulunduğunuzu bilmiyorsanız veya artık bu listeden >> gelen >>>> e-postaları almak istemiyorsanız aşağıdaki bağlantı adresini kullanarak >> 1 >>>> dakika içinde üyeliğinizi sonlandırabilirsiniz. >>>> https://liste.linux.org.tr/mailman/listinfo/linux-sunucu >>>> >>> >>> >>> >>> ---------- >>> _______________________________________________ >>> Linux-sunucu E-Posta Listesi >>> [email protected] >>> >>> Liste kurallarını http://liste.linux.org.tr/kurallar.php >> bağlantısından >>> okuyabilirsiniz; >>> >>> Bu Listede neden bulunduğunuzu bilmiyorsanız veya artık bu listeden >> gelen >>> e-postaları almak istemiyorsanız aşağıdaki bağlantı adresini kullanarak >> 1 >>> dakika içinde üyeliğinizi sonlandırabilirsiniz. >>> https://liste.linux.org.tr/mailman/listinfo/linux-sunucu >>> >> >> >> _______________________________________________ >> Linux-sunucu E-Posta Listesi >> [email protected] >> >> Liste kurallarını http://liste.linux.org.tr/kurallar.php bağlantısından >> okuyabilirsiniz; >> >> Bu Listede neden bulunduğunuzu bilmiyorsanız veya artık bu listeden gelen >> e-postaları almak istemiyorsanız aşağıdaki bağlantı adresini kullanarak 1 >> dakika içinde üyeliğinizi sonlandırabilirsiniz. >> https://liste.linux.org.tr/mailman/listinfo/linux-sunucu >> > > > -- > Recep KIRMIZI > -------------- sonraki b? -------------- > Bir HTML eklentisi temizlendi... > URL: > http://liste.linux.org.tr/pipermail/linux-sunucu/attachments/20181031/fef9de25/attachment.html > > > ------------------------------ > > _______________________________________________ > Linux-sunucu mailing list > [email protected] > https://liste.linux.org.tr/mailman/listinfo/linux-sunucu > Liste kurallari: http://liste.linux.org.tr/kurallar.php > > > Son: Linux-sunucu Toplu Mesajı, Sayı 169, Konu 16 > ************************************************* Saygılarımla, Erdem Yurtçuoğlu Mobil +90 537 292 10 75 <tel:80100100>veya e-posta [email protected] <mailto:[email protected]> Barış Sk. B2 11 Yenibosna Bahçelievler, İSTANBUL <http://www.zecva.com/> <http://www.zecva.com/>
_______________________________________________ Linux-sunucu E-Posta Listesi [email protected] Liste kurallarını http://liste.linux.org.tr/kurallar.php bağlantısından okuyabilirsiniz; Bu Listede neden bulunduğunuzu bilmiyorsanız veya artık bu listeden gelen e-postaları almak istemiyorsanız aşağıdaki bağlantı adresini kullanarak 1 dakika içinde üyeliğinizi sonlandırabilirsiniz. https://liste.linux.org.tr/mailman/listinfo/linux-sunucu
