Değerli görüşleriniz için teşekkür ediyorum. User-agent perspektifinden değerlendireceğim.
Disk SSD olduğu için I/O darboğazı yapmaz diye düşünüyorum. Siteyi derinlemesine incelemek gerekecek. Tekrardan görüşleriniz ve eleştirileriniz için teşekkürler arkadaşlar. 1 Kasım 2018 10:03:24 Doruk Fisek <[email protected]> yazdı: > Wed, 31 Oct 2018 17:43:22 +0300, Abdullah Ülker (Yandex) > <[email protected]> : > >> Benim yapmak istediğim botları engellemek. >> Zira belli bir ip engellendiginde ip değiştirip yeniden geliyor. > > Kısa vadeli çözüm açısından: > > 1) Web sunucusunun ayarlarından user-agent değişkenine göre engelleme > yapabilirsiniz. IP değiştirseler de, bunu aslında "atlatmak" amaçlı > yapmıyorlar, genelde kendilerini gizlemeye çalışmıyorlar. O yüzden > user-agent değerine göre eşleyebilirsiniz. > > 2) Genelde yoğun bot aktivitesi çoğunlukla I/O sorununa yol açar. CPU > şişiyor diye görebilirsiniz ama sorun biriken I/O isteklerini CPU'nun > önceliklendirmeye çalışmaktan olabilir. Darboğaza bir de o gözle bakın. > Disklerinizi hızlandırmayı düşünebilirsiniz. SSD'ye koyabileceğiniz > gibi, eğer web uygulamasının içeriği değişmiyorsa doğrudan RAM'de bir > dosya sistemi oluşturup oradan servis vermeyi de düşünebilirsiniz. > > Uzun vadeli çözüm açısından: > > 1) Botların sitede bu kadar yük oluşturmasının bir nedeni olmalı. > Örneğin botlar bir şekilde sonsuz döngüye giriyor olabilirler. Web > sitesi de bunlara yanıt veriyordur. İstekte bulundukları URL'leri bir > inceleyebilirsiniz. Örneğin, > https://ozguryazilim.com.tr/egitimler/postgresql/egitimler/postgresql/egitimler/postgresql/ > > gibi bir URL'e yapılan request ortada bir terslik olduğunu > gösterecektir. Büyük olasılıkla sitede programatik olarak hatalı bir > link üretiliyor, site de 200 döndürmeye devam ettiği için bot da bunu > farketmeyip içeri doğru dalıyor demektir. > > 2) Web sayfalarınızın header'larında gönderdiği cache değerlerini > yükseltebilirsiniz. Bu da botların sitenize daha az uğramalarını > sağlayacaktır (içeriğin değişmediğini bildirdiğiniz için). En azından > sık değişmeyen kısımları için bunu yapabilirsiniz. > > 3) robots.txt dosyasını takmadıklarını düşünmüyorum botların. Sadece > takmaları zaman alıyordur. Çünkü onlar da cache yapıyorlar. O yüzden > robots.txt'inizi siz yine de düzgün tutun. sitemap.xml'i ciddiye alan > botlar için de 1. maddedeki durumun gerçekleşmesi engelleniyor. Elbette > sitemap.xml'iniz güncel değilse, bunun dezavantajı indekslenmesi > gereken bazı sayfalar indekslenmeyebilir. > > 4) Sunucunuzun genel olarak performansını arttırmaya yönelik çalışmalar > yapabilirsiniz: mod_php yerine bir PHP uygulama sunucusuna geçiş ve > statik içeriklerini o uygulama sunucusuna aktarmayıp web sunucusundan > sunmak, PHP 7'ye göç etmediyseniz ona geçiş, Wordpress tarafında mobil > entegrasyonunuz yoksa kullanılmayan xmlrpc.php dosyasına erişim > kısıtlaması vs vs. > > Doruk > > -- > Özgür Yazılım A.Ş. ~ # > http://www.ozguryazilim.com.tr > _______________________________________________ > Linux-sunucu E-Posta Listesi > [email protected] > > Liste kurallarını http://liste.linux.org.tr/kurallar.php bağlantısından > okuyabilirsiniz; > > Bu Listede neden bulunduğunuzu bilmiyorsanız veya artık bu listeden gelen > e-postaları almak istemiyorsanız aşağıdaki bağlantı adresini kullanarak 1 > dakika içinde üyeliğinizi sonlandırabilirsiniz. > https://liste.linux.org.tr/mailman/listinfo/linux-sunucu _______________________________________________ Linux-sunucu E-Posta Listesi [email protected] Liste kurallarını http://liste.linux.org.tr/kurallar.php bağlantısından okuyabilirsiniz; Bu Listede neden bulunduğunuzu bilmiyorsanız veya artık bu listeden gelen e-postaları almak istemiyorsanız aşağıdaki bağlantı adresini kullanarak 1 dakika içinde üyeliğinizi sonlandırabilirsiniz. https://liste.linux.org.tr/mailman/listinfo/linux-sunucu
