Hey Jean-Michel, Looks like its specific for YARN. As I mentioned, I am running on standalone cluster.
Thanks On Tue 11 Jun 2019 at 10:50, Lourier, Jean-Michel (FIX1) < jean-michel.lour...@porsche.de> wrote: > Hi Patrick, > > I guess the easiest way is to use log aggregation: > https://spark.apache.org/docs/latest/running-on-yarn.html#debugging-your-application > > BR > > Jean-Michel > > > > Dr. Ing. h.c. F. Porsche Aktiengesellschaft > Sitz der Gesellschaft: Stuttgart > Registergericht: Amtsgericht Stuttgart HRB-Nr. 730623 > Vorsitzender des Aufsichtsrats: Dr. Wolfgang Porsche > Vorstand: Oliver Blume, Vorsitzender > Lutz Meschke, stv. Vorsitzender > Andreas Haffner, Detlev von Platen, Albrecht Reimold, Uwe-Karsten Städter, > Michael Steiner > > Informationen zum Umgang mit Ihren Daten finden Sie in unsere > Datenschutzhinweisen unter > https://www.porsche.com/germany/porscheag-privacy/ > > Die vorgenannten Angaben werden jeder E-Mail automatisch hinzugefügt. Dies > ist kein Anerkenntnis, > dass es sich beim Inhalt dieser E-Mail um eine rechtsverbindliche > Erklärung der Porsche AG handelt. > Erklärungen, die die Porsche AG verpflichten, bedürfen jeweils der > Unterschrift durch zwei zeichnungs- > berechtigte Personen der AG. > > > > > -----Ursprüngliche Nachricht----- > Von: tkrol <patric...@gmail.com> > Gesendet: Freitag, 7. Juni 2019 16:22 > An: user@spark.apache.org > Betreff: Getting driver logs in Standalone Cluster > > Hey Guys, > > I am wondering what is the best way to get logs for driver in the cluster > mode on standalone cluster? Normally I used to run client mode so I could > capture logs from the console. > > Now I've started running jobs in cluster mode and obviously driver is > running on worker and can't see the logs. > > I would like to store logs (preferably in hdfs), any easy way to do that? > > Thanks > > > > -- > Sent from: http://apache-spark-user-list.1001560.n3.nabble.com/ > > --------------------------------------------------------------------- > To unsubscribe e-mail: user-unsubscr...@spark.apache.org > > -- Tomasz Krol patric...@gmail.com
