Hi, I had such issue once when opening a lot of Parquet writers and some non-Heap memory was never released. So you might check that you close all resources correctly.
-- Best regards, Andrei Shumanski 2018-06-04 14:24 GMT+02:00 Flavio Pompermaier <pomperma...@okkam.it>: > We had similar problems that was caused by Netty (but we were using batch > APIs). > > Look at this discussion, maybe it can help: http://mail-archives. > apache.org/mod_mbox/flink-user/201706.mbox/%3CCAELUF_ > aau+u9xyfpjesdrnxb84glod_8jp-xexrf-6ey4qe...@mail.gmail.com%3E > > Best, > Flavio > > 2018-06-04 13:29 GMT+02:00 Lasse Nedergaard <lassenederga...@gmail.com>: > >> Hi >> >> If you use Rocksdbstate backend rocksdb use memory outside the process to >> my understanding. >> We have the same problem and I guess it started when we introduced job >> with larger state and moved all jobs over to rocksdb >> >> Med venlig hilsen / Best regards >> Lasse Nedergaard >> >> >> Den 4. jun. 2018 kl. 13.23 skrev Szczypiński, S. (Szymon) < >> szymon.szczypin...@ingbank.pl>: >> >> Hi, >> >> I use 1.3.1 version. >> >> >> >> >> >> *Od:* miki haiat [mailto:miko5...@gmail.com <miko5...@gmail.com>] >> *Wysłano:* poniedziałek, 4 czerwca 2018 13:20 >> *Do:* Szczypiński, S. (Szymon) <szymon.szczypin...@ingbank.pl> >> *DW:* user <user@flink.apache.org> >> *Temat:* Re: TaskManager use more memory than Xmx >> >> >> >> Which flink version ? >> >> I had the same issue on 1.4.2 . >> >> >> >> >> >> On Mon, Jun 4, 2018 at 2:14 PM Szczypiński, S. (Szymon) < >> szymon.szczypin...@ingbank.pl> wrote: >> >> Hi, >> >> I have a problem with TaskManagers in my standalone cluster. >> >> >> >> My problem is that my host have 32GB RAM memory. TaskManager have Xms and >> Xmx set to 20GB but when TaskManager is working it use more memory than >> host have and start to consume SWAP. In the end system kills java process. >> >> >> >> Mayby someone know why Flink TaskManager use so much more memory than is >> set by Xmx property. >> >> >> >> Best regards >> >> Simon >> >> >> >> >> >> >> >> *Szymon Szczypiński* >> Projektant IT >> >> Departament Aplikacji Centralnych >> >> >> >> *E *szymon.szczypin...@ingbank.pl >> >> >> [image: >> https://shp-app.pl.ing-ad/apps/mailsignature/Lists/Images/podpis_logo.png] >> >> >> >> ING Bank Śląski S.A. >> >> ul. Sokolska 34, 40-086 >> <https://maps.google.com/?q=ul.+Sokolska+34,+40-086&entry=gmail&source=g> >> Katowice >> >> >> >> [image: >> https://shp-app.pl.ing-ad/apps/mailsignature/Lists/Images/stopka_eko.png] >> Zastanów >> się czy musisz drukować tego maila. / Do you really need to print this mail? >> >> >> ------------------------------ >> >> >> Niniejsza wiadomość zawiera informacje poufne, przeznaczone do wyłącznego >> użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli >> otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne >> skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, >> reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy >> też zawartych w niej informacji przez osobę inną niż adresat jest >> niedozwolone i może spowodować odpowiedzialność prawną. >> >> >> >> >> >> >> >> Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, >> przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem >> przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o >> bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, >> dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej >> wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat >> jest niedozwolone i może skutkować odpowiedzialnością prawną. >> >> >> >> >> >> --- >> >> The information in this electronic mail message is confidential, legally >> privileged, and only intended for the addressee. Should you receive this >> message by mistake, please contact the sender immediately. Any disclosure, >> reproduction, distribution or use of this message is strictly prohibited and >> illegal. >> >> >> >> >> >> >> >> Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, >> przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem >> przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o >> bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, >> dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej >> wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat >> jest niedozwolone i może skutkować odpowiedzialnością prawną. >> >> >> --- >> The information in this electronic mail message is confidential, legally >> privileged, and only intended for the addressee. Should you receive this >> message by mistake, please contact the sender immediately. Any disclosure, >> reproduction, distribution or use of this message is strictly prohibited and >> illegal. >> >> >> >
