Hi If you use Rocksdbstate backend rocksdb use memory outside the process to my understanding. We have the same problem and I guess it started when we introduced job with larger state and moved all jobs over to rocksdb
Med venlig hilsen / Best regards Lasse Nedergaard > Den 4. jun. 2018 kl. 13.23 skrev Szczypiński, S. (Szymon) > <szymon.szczypin...@ingbank.pl>: > > Hi, > I use 1.3.1 version. > > > Od: miki haiat [mailto:miko5...@gmail.com] > Wysłano: poniedziałek, 4 czerwca 2018 13:20 > Do: Szczypiński, S. (Szymon) <szymon.szczypin...@ingbank.pl> > DW: user <user@flink.apache.org> > Temat: Re: TaskManager use more memory than Xmx > > Which flink version ? > I had the same issue on 1.4.2 . > > > > On Mon, Jun 4, 2018 at 2:14 PM Szczypiński, S. (Szymon) > <szymon.szczypin...@ingbank.pl> wrote: > Hi, > I have a problem with TaskManagers in my standalone cluster. > > My problem is that my host have 32GB RAM memory. TaskManager have Xms and Xmx > set to 20GB but when TaskManager is working it use more memory than host have > and start to consume SWAP. In the end system kills java process. > > Mayby someone know why Flink TaskManager use so much more memory than is set > by Xmx property. > > Best regards > Simon > > > > Szymon Szczypiński > Projektant IT > Departament Aplikacji Centralnych > > E szymon.szczypin...@ingbank.pl > > > > ING Bank Śląski S.A. > ul. Sokolska 34, 40-086 Katowice > > Zastanów się czy musisz drukować tego maila. / Do you really need to print > this mail? > > > Niniejsza wiadomość zawiera informacje poufne, przeznaczone do wyłącznego > użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli > otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne > skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, > reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też > zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i > może spowodować odpowiedzialność prawną. > > > > Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, > przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem > przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o > bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, > dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej > wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat > jest niedozwolone i może skutkować odpowiedzialnością prawną. > > > --- > The information in this electronic mail message is confidential, legally > privileged, and only intended for the addressee. Should you receive this > message by mistake, please contact the sender immediately. Any disclosure, > reproduction, distribution or use of this message is strictly prohibited and > illegal. > > > > > Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, > przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem > przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o > bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, > dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej > wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat > jest niedozwolone i może skutkować odpowiedzialnością prawną. > > > --- > The information in this electronic mail message is confidential, legally > privileged, and only intended for the addressee. Should you receive this > message by mistake, please contact the sender immediately. Any disclosure, > reproduction, distribution or use of this message is strictly prohibited and > illegal. > >
