Hi Felix, I think the problem you are describing has been fixed in later versions, check out this JIRA https://issues.apache.org/jira/browse/SPARK-13803
On Wed, Jun 29, 2016 at 9:27 AM, Mich Talebzadeh <mich.talebza...@gmail.com> wrote: > Fine. in standalone mode spark uses its own scheduling as opposed to Yarn > or anything else. > > As a matter of interest can you start spark-submit from any node in the > cluster? Are these all have the same or similar CPU and RAM? > > > HTH > > Dr Mich Talebzadeh > > > > LinkedIn * > https://www.linkedin.com/profile/view?id=AAEAAAAWh2gBxianrbJd6zP6AcPCCdOABUrV8Pw > <https://www.linkedin.com/profile/view?id=AAEAAAAWh2gBxianrbJd6zP6AcPCCdOABUrV8Pw>* > > > > http://talebzadehmich.wordpress.com > > > *Disclaimer:* Use it at your own risk. Any and all responsibility for any > loss, damage or destruction of data or any other property which may arise > from relying on this email's technical content is explicitly disclaimed. > The author will in no case be liable for any monetary damages arising from > such loss, damage or destruction. > > > > On 29 June 2016 at 10:54, Felix Massem <felix.mas...@codecentric.de> > wrote: > >> In addition we are not using Yarn we are using the standalone mode and >> the driver will be started with the deploy-mode cluster >> >> Thx Felix >> Felix Massem | IT-Consultant | Karlsruhe >> mobil: +49 (0) 172.2919848 >> >> www.codecentric.de | blog.codecentric.de | www.meettheexperts.de | >> www.more4fi.de >> >> Sitz der Gesellschaft: Düsseldorf | HRB 63043 | Amtsgericht Düsseldorf >> Vorstand: Michael Hochgürtel . Mirko Novakovic . Rainer Vehns >> Aufsichtsrat: Patric Fedlmeier (Vorsitzender) . Klaus Jäger . Jürgen >> Schütz >> >> Diese E-Mail einschließlich evtl. beigefügter Dateien enthält >> vertrauliche und/oder rechtlich geschützte Informationen. Wenn Sie nicht >> der richtige Adressat sind oder diese E-Mail irrtümlich erhalten haben, >> informieren Sie bitte sofort den Absender und löschen Sie diese E-Mail und >> evtl. beigefügter Dateien umgehend. Das unerlaubte Kopieren, Nutzen oder >> Öffnen evtl. beigefügter Dateien sowie die unbefugte Weitergabe dieser >> E-Mail ist nicht gestattet. >> >> Am 29.06.2016 um 11:13 schrieb Felix Massem <felix.mas...@codecentric.de >> >: >> >> Hey Mich, >> >> the distribution is like not given. Just right now I have 15 applications >> and all 15 drivers are running on one node. This is just after giving all >> machines a little more memory. >> Before I had like 15 applications and about 13 driver where running on >> one machine. While trying to submit a new job I got OOM exceptions which >> took down my cassandra service only to start the driver on the same node >> where all the other 13 drivers where running. >> >> Thx and best regards >> Felix >> >> >> Felix Massem | IT-Consultant | Karlsruhe >> mobil: +49 (0) 172.2919848 >> >> www.codecentric.de | blog.codecentric.de | www.meettheexperts.de | >> www.more4fi.de >> >> Sitz der Gesellschaft: Düsseldorf | HRB 63043 | Amtsgericht Düsseldorf >> Vorstand: Michael Hochgürtel . Mirko Novakovic . Rainer Vehns >> Aufsichtsrat: Patric Fedlmeier (Vorsitzender) . Klaus Jäger . Jürgen >> Schütz >> >> Diese E-Mail einschließlich evtl. beigefügter Dateien enthält >> vertrauliche und/oder rechtlich geschützte Informationen. Wenn Sie nicht >> der richtige Adressat sind oder diese E-Mail irrtümlich erhalten haben, >> informieren Sie bitte sofort den Absender und löschen Sie diese E-Mail und >> evtl. beigefügter Dateien umgehend. Das unerlaubte Kopieren, Nutzen oder >> Öffnen evtl. beigefügter Dateien sowie die unbefugte Weitergabe dieser >> E-Mail ist nicht gestattet. >> >> Am 28.06.2016 um 17:55 schrieb Mich Talebzadeh <mich.talebza...@gmail.com >> >: >> >> Hi Felix, >> >> In Yarn-cluster mode the resource manager Yarn is expected to take care >> of that. >> >> Are you getting some skewed distribution with drivers created through >> spark-submit on different nodes? >> >> HTH >> >> Dr Mich Talebzadeh >> >> >> LinkedIn * >> https://www.linkedin.com/profile/view?id=AAEAAAAWh2gBxianrbJd6zP6AcPCCdOABUrV8Pw >> <https://www.linkedin.com/profile/view?id=AAEAAAAWh2gBxianrbJd6zP6AcPCCdOABUrV8Pw>* >> >> >> http://talebzadehmich.wordpress.com >> >> *Disclaimer:* Use it at your own risk. Any and all responsibility for >> any loss, damage or destruction of data or any other property which may >> arise from relying on this email's technical content is explicitly >> disclaimed. The author will in no case be liable for any monetary damages >> arising from such loss, damage or destruction. >> >> >> >> On 28 June 2016 at 16:06, Felix Massem <felix.mas...@codecentric.de> >> wrote: >> >>> Hey Mich, >>> >>> thx for the fast reply. >>> >>> We are using it in cluster mode and spark version 1.5.2 >>> >>> Greets Felix >>> >>> >>> Felix Massem | IT-Consultant | Karlsruhe >>> mobil: +49 (0) 172.2919848 >>> >>> www.codecentric.de | blog.codecentric.de | www.meettheexperts.de | >>> www.more4fi.de >>> >>> Sitz der Gesellschaft: Düsseldorf | HRB 63043 | Amtsgericht Düsseldorf >>> Vorstand: Michael Hochgürtel . Mirko Novakovic . Rainer Vehns >>> Aufsichtsrat: Patric Fedlmeier (Vorsitzender) . Klaus Jäger . Jürgen >>> Schütz >>> >>> Diese E-Mail einschließlich evtl. beigefügter Dateien enthält >>> vertrauliche und/oder rechtlich geschützte Informationen. Wenn Sie nicht >>> der richtige Adressat sind oder diese E-Mail irrtümlich erhalten haben, >>> informieren Sie bitte sofort den Absender und löschen Sie diese E-Mail und >>> evtl. beigefügter Dateien umgehend. Das unerlaubte Kopieren, Nutzen oder >>> Öffnen evtl. beigefügter Dateien sowie die unbefugte Weitergabe dieser >>> E-Mail ist nicht gestattet. >>> >>> Am 28.06.2016 um 17:04 schrieb Mich Talebzadeh < >>> mich.talebza...@gmail.com>: >>> >>> Hi Felix, >>> >>> what version of Spark? >>> >>> Are you using yarn client mode or cluster mode? >>> >>> HTH >>> >>> >>> Dr Mich Talebzadeh >>> >>> >>> LinkedIn * >>> https://www.linkedin.com/profile/view?id=AAEAAAAWh2gBxianrbJd6zP6AcPCCdOABUrV8Pw >>> <https://www.linkedin.com/profile/view?id=AAEAAAAWh2gBxianrbJd6zP6AcPCCdOABUrV8Pw>* >>> >>> >>> http://talebzadehmich.wordpress.com >>> >>> *Disclaimer:* Use it at your own risk. Any and all responsibility for >>> any loss, damage or destruction of data or any other property which may >>> arise from relying on this email's technical content is explicitly >>> disclaimed. The author will in no case be liable for any monetary damages >>> arising from such loss, damage or destruction. >>> >>> >>> >>> On 28 June 2016 at 15:27, adaman79 <felix.mas...@codecentric.de> wrote: >>> >>>> Hey guys, >>>> >>>> I have a problem with memory because over 90% of my spark driver will be >>>> started on one of my nine spark nodes. >>>> So now I am looking for the possibility to define the node the spark >>>> driver >>>> will be started when using spark-submit or setting it somewhere in the >>>> code. >>>> >>>> Is this possible? Does anyone else have this kind of problem? >>>> >>>> thx and best regards >>>> Felix >>>> >>>> >>>> >>>> -- >>>> View this message in context: >>>> http://apache-spark-user-list.1001560.n3.nabble.com/Set-the-node-the-spark-driver-will-be-started-tp27244.html >>>> Sent from the Apache Spark User List mailing list archive at Nabble.com >>>> <http://nabble.com/>. >>>> >>>> --------------------------------------------------------------------- >>>> To unsubscribe, e-mail: user-unsubscr...@spark.apache.org >>>> For additional commands, e-mail: user-h...@spark.apache.org >>>> >>>> >>> >>> >> >> >> >
