Re: Pending ReadStage is exploding on only one node

[Johann Höchtl]

Yes I'm using indexslicequeries, but both of the request parameters have a secondary index on them. So it's not quite similar to your problem. Am 23.11.2011 13:55, schrieb Roland Gude: Are you using indexslicequeries?   I described a similar problem a couple of months ago (and mechanisms to reproduce the behavior) but unfortunately failed to create an issue for it (shame on me). The mail thread is in the archives http://www.mail-archive.com/user@cassandra.apache.org/msg16157.html       Von: Johann Höchtl [mailto:h.hoec...@ic-drei.de] Gesendet: Montag, 21. November 2011 22:17 An: user@cassandra.apache.org Betreff: Re: Pending ReadStage is exploding on only one node   Yes, it's random partioned. Am 21.11.2011 13:47, schrieb Jahangir Mohammed: Hmm..What's the data distribution like on cluster? R.P.? On Mon, Nov 21, 2011 at 7:31 AM, Johann Höchtl <h.hoec...@ic-drei.de> wrote: I'm using hector-0.8.0-2. No custom load balancer. Hardware is equal on every server. Am 21.11.2011 13:26, schrieb Jahangir Mohammed: I am not so sure from version to version. 1. Which client are you using? Any custom load balancer? 2. Is the hardware on this node any different from other nodes? Thanks, Jahangir. On Mon, Nov 21, 2011 at 5:55 AM, Johann Höchtl <h.hoec...@ic-drei.de> wrote: Hi all, I'm experiencing strange behaviour of my 6-node cassandra cluster and I hope some one can explain, what I'm doing wrong. The setting: 6-Cassandra Nodes 1.0.3 Random Partitioning The ColumnFamily in question has a replication factor of 2 and stores products of different shops with a secondary index on shop_id. Twice a day, I do an update of the data with the following mechanism: Get all keys of a shop. Read the new CSV. Insert the rows from the csv, which keys are not present and delete the rows which are not longer present. Update all prices of the products from the csv and set an update_date. I'm measuring a high load value on a few nodes during the update process (which is normal), but one node keeps the high load after the process for a long time. I checked the tpstats and found out, that on this node there are over 50k pending ReadStage tasks. All the other nodes don't have that behaviour. I already had this problem on cassandra 0.7, but after upgrading to 0.8 it disappeared. Now it is back. Any suggestions? Thanks, Hans     -- Mit freundlichen Grüßen, Johann Höchtl stellv. IT-Leiter Adresse Grafinger Straße 6 81671 München Kontakt Web: www.ic3.de E-Mail: h.hoec...@ic-drei.de Tel.: 089 638 666 89 - 0 Fax: 089 638 666 89 - 20 Wichtige Hinweise Hinweis: Diese Nachricht kann vertrauliche/rechtlich geschützte Informationen enthalten. Sofern Sie nicht der in dieser Nachricht genannte Adressat (oder ein für die Weiterleitung der Nachricht an den Adressaten Verantwortlicher) sind, ist es Ihnen untersagt, diese Nachricht zu kopieren oder an Dritte weiterzugeben. In diesem Fall löschen Sie bitte diese Nachricht und informieren Sie den Absender dieser Nachricht per Antwort-Nachricht. Die ungenehmigte Nutzung oder Verbreitung dieser Nachricht ganz oder in Teilen ist strengstens untersagt. Bitte beachten Sie ferner, dass E-Mails leicht manipuliert werden können. Daher ist der Inhalt dieser Nachricht nicht rechtlich verbindlich. Der Inhalt dieser Nachricht ist nur rechtsverbindlich, wenn er schriftlich bestätigt wird. IC3 Ltd. kann nicht für die unrichtige oder unvollständige Übermittlung von in dieser Nachricht enthaltenen Informationen, für Verzögerungen beim Erhalt dieser Nachricht oder für Schädigungen Ihrer EDV-Systeme durch diese Nachricht verantwortlich gemacht werden. IC3 Ltd. übernimmt keinerlei Gewähr dafür, dass diese Nachricht nicht verändert wurde und keinerlei Gewähr dafür, dass diese Nachricht nicht von Viren befallen, abgefangen oder in sie anderweitig eingegriffen wurde. Important notice Disclaimer: Privileged/Confidential Informations may be contained in this message. If you are not the addressee indicated in this message (or responsible for delivery of the message to such person), you may not copy or deliver this message to anyone. In such case, you should destroy this message and kindly notify the sender by reply email. Any unauthorized use or dissemination of this message in whole or in part is strictly prohibited. Please note that e-mails are susceptible to change. The content of this message is therefore not legally binding. The content of this message is only legally binding if confirmed in writing. IC3 Ltd. shall not be liable for the improper or incomplete transmission of the information contained in this communication nor for any delay in its receipt or damage to your system. IC3 Ltd. does not guarantee that the integrity of this communication has been maintained nor that this communication is free of viruses, interceptions or interference.