We had similar problems that was caused by Netty (but we were using batch APIs).
Look at this discussion, maybe it can help: http://mail-archives.apache.org/mod_mbox/flink-user/201706.mbox/%3ccaeluf_aau+u9xyfpjesdrnxb84glod_8jp-xexrf-6ey4qe...@mail.gmail.com%3E Best, Flavio 2018-06-04 13:29 GMT+02:00 Lasse Nedergaard <lassenederga...@gmail.com>: > Hi > > If you use Rocksdbstate backend rocksdb use memory outside the process to > my understanding. > We have the same problem and I guess it started when we introduced job > with larger state and moved all jobs over to rocksdb > > Med venlig hilsen / Best regards > Lasse Nedergaard > > > Den 4. jun. 2018 kl. 13.23 skrev Szczypiński, S. (Szymon) < > szymon.szczypin...@ingbank.pl>: > > Hi, > > I use 1.3.1 version. > > > > > > *Od:* miki haiat [mailto:miko5...@gmail.com <miko5...@gmail.com>] > *Wysłano:* poniedziałek, 4 czerwca 2018 13:20 > *Do:* Szczypiński, S. (Szymon) <szymon.szczypin...@ingbank.pl> > *DW:* user <user@flink.apache.org> > *Temat:* Re: TaskManager use more memory than Xmx > > > > Which flink version ? > > I had the same issue on 1.4.2 . > > > > > > On Mon, Jun 4, 2018 at 2:14 PM Szczypiński, S. (Szymon) < > szymon.szczypin...@ingbank.pl> wrote: > > Hi, > > I have a problem with TaskManagers in my standalone cluster. > > > > My problem is that my host have 32GB RAM memory. TaskManager have Xms and > Xmx set to 20GB but when TaskManager is working it use more memory than > host have and start to consume SWAP. In the end system kills java process. > > > > Mayby someone know why Flink TaskManager use so much more memory than is > set by Xmx property. > > > > Best regards > > Simon > > > > > > > > *Szymon Szczypiński* > Projektant IT > > Departament Aplikacji Centralnych > > > > *E *szymon.szczypin...@ingbank.pl > > > [image: > https://shp-app.pl.ing-ad/apps/mailsignature/Lists/Images/podpis_logo.png] > > > > ING Bank Śląski S.A. > > ul. Sokolska 34, 40-086 > <https://maps.google.com/?q=ul.+Sokolska+34,+40-086&entry=gmail&source=g> > Katowice > > > > [image: > https://shp-app.pl.ing-ad/apps/mailsignature/Lists/Images/stopka_eko.png] > Zastanów > się czy musisz drukować tego maila. / Do you really need to print this mail? > > > ------------------------------ > > > Niniejsza wiadomość zawiera informacje poufne, przeznaczone do wyłącznego > użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli > otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne > skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, > reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy > też zawartych w niej informacji przez osobę inną niż adresat jest > niedozwolone i może spowodować odpowiedzialność prawną. > > > > > > > > Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, > przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem > przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o > bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, > dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej > wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat > jest niedozwolone i może skutkować odpowiedzialnością prawną. > > > > > > --- > > The information in this electronic mail message is confidential, legally > privileged, and only intended for the addressee. Should you receive this > message by mistake, please contact the sender immediately. Any disclosure, > reproduction, distribution or use of this message is strictly prohibited and > illegal. > > > > > > > > Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, > przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem > przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o > bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, > dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej > wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat > jest niedozwolone i może skutkować odpowiedzialnością prawną. > > > --- > The information in this electronic mail message is confidential, legally > privileged, and only intended for the addressee. Should you receive this > message by mistake, please contact the sender immediately. Any disclosure, > reproduction, distribution or use of this message is strictly prohibited and > illegal. > > >
