In addition we are not using Yarn we are using the standalone mode and the driver will be started with the deploy-mode cluster
Thx Felix Felix Massem | IT-Consultant | Karlsruhe mobil: +49 (0) 172.2919848 <> www.codecentric.de <http://www.codecentric.de/> | blog.codecentric.de <http://blog.codecentric.de/> | www.meettheexperts.de <http://www.meettheexperts.de/> | www.more4fi.de <http://www.more4fi.de/> Sitz der Gesellschaft: Düsseldorf | HRB 63043 | Amtsgericht Düsseldorf Vorstand: Michael Hochgürtel . Mirko Novakovic . Rainer Vehns Aufsichtsrat: Patric Fedlmeier (Vorsitzender) . Klaus Jäger . Jürgen Schütz Diese E-Mail einschließlich evtl. beigefügter Dateien enthält vertrauliche und/oder rechtlich geschützte Informationen. Wenn Sie nicht der richtige Adressat sind oder diese E-Mail irrtümlich erhalten haben, informieren Sie bitte sofort den Absender und löschen Sie diese E-Mail und evtl. beigefügter Dateien umgehend. Das unerlaubte Kopieren, Nutzen oder Öffnen evtl. beigefügter Dateien sowie die unbefugte Weitergabe dieser E-Mail ist nicht gestattet. > Am 29.06.2016 um 11:13 schrieb Felix Massem <felix.mas...@codecentric.de>: > > Hey Mich, > > the distribution is like not given. Just right now I have 15 applications and > all 15 drivers are running on one node. This is just after giving all > machines a little more memory. > Before I had like 15 applications and about 13 driver where running on one > machine. While trying to submit a new job I got OOM exceptions which took > down my cassandra service only to start the driver on the same node where > all the other 13 drivers where running. > > Thx and best regards > Felix > > > Felix Massem | IT-Consultant | Karlsruhe > mobil: +49 (0) 172.2919848 <> > > www.codecentric.de <http://www.codecentric.de/> | blog.codecentric.de > <http://blog.codecentric.de/> | www.meettheexperts.de > <http://www.meettheexperts.de/> | www.more4fi.de <http://www.more4fi.de/> > > Sitz der Gesellschaft: Düsseldorf | HRB 63043 | Amtsgericht Düsseldorf > Vorstand: Michael Hochgürtel . Mirko Novakovic . Rainer Vehns > Aufsichtsrat: Patric Fedlmeier (Vorsitzender) . Klaus Jäger . Jürgen Schütz > > Diese E-Mail einschließlich evtl. beigefügter Dateien enthält vertrauliche > und/oder rechtlich geschützte Informationen. Wenn Sie nicht der richtige > Adressat sind oder diese E-Mail irrtümlich erhalten haben, informieren Sie > bitte sofort den Absender und löschen Sie diese E-Mail und evtl. beigefügter > Dateien umgehend. Das unerlaubte Kopieren, Nutzen oder Öffnen evtl. > beigefügter Dateien sowie die unbefugte Weitergabe dieser E-Mail ist nicht > gestattet. > >> Am 28.06.2016 um 17:55 schrieb Mich Talebzadeh <mich.talebza...@gmail.com >> <mailto:mich.talebza...@gmail.com>>: >> >> Hi Felix, >> >> In Yarn-cluster mode the resource manager Yarn is expected to take care of >> that. >> >> Are you getting some skewed distribution with drivers created through >> spark-submit on different nodes? >> >> HTH >> >> Dr Mich Talebzadeh >> >> LinkedIn >> https://www.linkedin.com/profile/view?id=AAEAAAAWh2gBxianrbJd6zP6AcPCCdOABUrV8Pw >> >> <https://www.linkedin.com/profile/view?id=AAEAAAAWh2gBxianrbJd6zP6AcPCCdOABUrV8Pw> >> >> http://talebzadehmich.wordpress.com <http://talebzadehmich.wordpress.com/> >> >> Disclaimer: Use it at your own risk. Any and all responsibility for any >> loss, damage or destruction of data or any other property which may arise >> from relying on this email's technical content is explicitly disclaimed. The >> author will in no case be liable for any monetary damages arising from such >> loss, damage or destruction. >> >> >> On 28 June 2016 at 16:06, Felix Massem <felix.mas...@codecentric.de >> <mailto:felix.mas...@codecentric.de>> wrote: >> Hey Mich, >> >> thx for the fast reply. >> >> We are using it in cluster mode and spark version 1.5.2 >> >> Greets Felix >> >> >> Felix Massem | IT-Consultant | Karlsruhe >> mobil: +49 (0) 172.2919848 <> >> >> www.codecentric.de <http://www.codecentric.de/> | blog.codecentric.de >> <http://blog.codecentric.de/> | www.meettheexperts.de >> <http://www.meettheexperts.de/> | www.more4fi.de <http://www.more4fi.de/> >> >> Sitz der Gesellschaft: Düsseldorf | HRB 63043 | Amtsgericht Düsseldorf >> Vorstand: Michael Hochgürtel . Mirko Novakovic . Rainer Vehns >> Aufsichtsrat: Patric Fedlmeier (Vorsitzender) . Klaus Jäger . Jürgen Schütz >> >> Diese E-Mail einschließlich evtl. beigefügter Dateien enthält vertrauliche >> und/oder rechtlich geschützte Informationen. Wenn Sie nicht der richtige >> Adressat sind oder diese E-Mail irrtümlich erhalten haben, informieren Sie >> bitte sofort den Absender und löschen Sie diese E-Mail und evtl. beigefügter >> Dateien umgehend. Das unerlaubte Kopieren, Nutzen oder Öffnen evtl. >> beigefügter Dateien sowie die unbefugte Weitergabe dieser E-Mail ist nicht >> gestattet. >> >>> Am 28.06.2016 um 17:04 schrieb Mich Talebzadeh <mich.talebza...@gmail.com >>> <mailto:mich.talebza...@gmail.com>>: >>> >>> Hi Felix, >>> >>> what version of Spark? >>> >>> Are you using yarn client mode or cluster mode? >>> >>> HTH >>> >>> >>> Dr Mich Talebzadeh >>> >>> LinkedIn >>> https://www.linkedin.com/profile/view?id=AAEAAAAWh2gBxianrbJd6zP6AcPCCdOABUrV8Pw >>> >>> <https://www.linkedin.com/profile/view?id=AAEAAAAWh2gBxianrbJd6zP6AcPCCdOABUrV8Pw> >>> >>> http://talebzadehmich.wordpress.com <http://talebzadehmich.wordpress.com/> >>> >>> Disclaimer: Use it at your own risk. Any and all responsibility for any >>> loss, damage or destruction of data or any other property which may arise >>> from relying on this email's technical content is explicitly disclaimed. >>> The author will in no case be liable for any monetary damages arising from >>> such loss, damage or destruction. >>> >>> >>> On 28 June 2016 at 15:27, adaman79 <felix.mas...@codecentric.de >>> <mailto:felix.mas...@codecentric.de>> wrote: >>> Hey guys, >>> >>> I have a problem with memory because over 90% of my spark driver will be >>> started on one of my nine spark nodes. >>> So now I am looking for the possibility to define the node the spark driver >>> will be started when using spark-submit or setting it somewhere in the code. >>> >>> Is this possible? Does anyone else have this kind of problem? >>> >>> thx and best regards >>> Felix >>> >>> >>> >>> -- >>> View this message in context: >>> http://apache-spark-user-list.1001560.n3.nabble.com/Set-the-node-the-spark-driver-will-be-started-tp27244.html >>> >>> <http://apache-spark-user-list.1001560.n3.nabble.com/Set-the-node-the-spark-driver-will-be-started-tp27244.html> >>> Sent from the Apache Spark User List mailing list archive at Nabble.com >>> <http://nabble.com/>. >>> >>> --------------------------------------------------------------------- >>> To unsubscribe, e-mail: user-unsubscr...@spark.apache.org >>> <mailto:user-unsubscr...@spark.apache.org> >>> For additional commands, e-mail: user-h...@spark.apache.org >>> <mailto:user-h...@spark.apache.org> >>> >>> >> >> >
signature.asc
Description: Message signed with OpenPGP using GPGMail
