[Spark Core]: flatMap/reduceByKey seems to be quite slow with Long keys on some distributions

Hi all, I'm using Spark to process some corpora and I need to count the occurrence of each 2-gram. I started with counting tuples (wordID1, wordID2) and it worked fine except the large memory usage and gc overhead due to the substantial number of small tuple objects. Then I tried to pack a pair of

[julia-users] Help! Problem with repeated calling of a function that creates SharedArray.

Can someone tell me what's wrong with the following code. - When I run it, either the last for loop would just hang there or I would get an error message such as run=12 > 100 > LoadError: SystemError: shm_open() failed for > /jl024406KYMveTGtI7BVrX6waGws: Too many open files > while

Re: [julia-users] (Large memory) computations and disk swapping

00 1600 3200 6400 12800 25600] for run=1:20 for n in N println(n) @time b=test(n); end end On Wednesday, April 27, 2016 at 5:30:51 PM UTC+2, Yichao Yu wrote: > > > On Apr 27, 2016 11:00 AM, "Richard Tsai" > > wrote: > > > > I have been running so

Re: [julia-users] (Large memory) computations and disk swapping

Just forming a large complex valued matrix and inverting it by GMRES from IterativeSolvers On Wednesday, April 27, 2016 at 5:30:51 PM UTC+2, Yichao Yu wrote: > > > On Apr 27, 2016 11:00 AM, "Richard Tsai" > > wrote: > > > > I have been running some codes tha

[julia-users] (Large memory) computations and disk swapping

I have been running some codes that used about 12GB memory for each run. I had enough RAM on my computer. However, in a single julia session, if I run the same code several times, I would get warning that I am short on disk space. I got the same behavior on Mac or Linux machines. Does anybody kno

[julia-users] Re: bicgstab

n Monday, April 25, 2016 at 1:44:32 PM UTC+2, Richard Tsai wrote: >> >> Hi, is there a Julia implementation of the biconjugate gradient >> stabilized algorithm? >> >>

[julia-users] bicgstab

Hi, is there a Julia implementation of the biconjugate gradient stabilized algorithm?

[jira] [Commented] (THRIFT-3619) Using Thrift 0.9.3 with googletest on Linux gcc 4.9 / C++11

[ https://issues.apache.org/jira/browse/THRIFT-3619?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel&focusedCommentId=15156885#comment-15156885 ] Richard Tsai commented on THRIFT-3619: -- {code} include(CheckIncludeFil

[jira] [Commented] (THRIFT-3619) Using Thrift 0.9.3 with googletest on Linux gcc 4.9 / C++11

[ https://issues.apache.org/jira/browse/THRIFT-3619?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel&focusedCommentId=15156880#comment-15156880 ] Richard Tsai commented on THRIFT-3619: -- I'm using this in cmake: {{code}

[jira] [Commented] (THRIFT-3619) Using Thrift 0.9.3 with googletest on Linux gcc 4.9 / C++11

[ https://issues.apache.org/jira/browse/THRIFT-3619?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel&focusedCommentId=15155933#comment-15155933 ] Richard Tsai commented on THRIFT-3619: -- This workaround will break gtest on

Re: [Ubuntu-zh] 求助Windows8和ubuntu双系统的引导问题

untu之后直接ubuntu开机，没有再次选择或者重新开机或者等待的困扰。 -- 下一部分 -- 一个HTML附件被移除... URL: <https://lists.ubuntu.com/archives/ubuntu-zh/attachments/2012/23b3b6e0/attachment.html> -- Richard Tsai School of Information Science and Technology, Sun Yat-sen University -- ubuntu

Re: [Ubuntu-zh] 关于ubuntu12.10的软件源的。

rrors.163.com->选择服务器 -- Richard Tsai School of Information Science and Technology, Sun Yat-sen University -- ubuntu-zh mailing list ubuntu-zh@lists.ubuntu.com https://lists.ubuntu.com/mailman/listinfo/ubuntu-zh

Re: [Ubuntu-zh] [OT] 關於在非專業用戶中推廣Ubuntu的一些體驗和感想

同意Houge Langley。的确，很多非专业的用户经过试用后会渐渐喜欢上Ubuntu等 相对易用的Linux发行版。但Windows给大多数非专业用户形成了一 些思维定势， 比如分区等，对计算机不了解的人转到Linux会不太习惯，很难短时间内通过别人 介绍适应过来。加上Linux的文档等很多是英文版 的，倒不是说用户没能力看，而 是估计很多非专业用户没有兴趣为个小问题就去查一堆英文文档。或许对普通用户 来说，某种程度上Windows用起来 问题并不比Linux少，但Windows出现问题时，懂 的人更多也更易找。一个非专业用户用不了Linux不是因为Linux难学，而是没有兴

Re: [Ubuntu-zh] 怎么接上wifi

右上角，音量附近有个网络的图标，点开检查启用无线有没有选中，然后会自动搜 索信号，再一次点开那里，找找你的SSID，选中，然后会尝试连接， 弹出来让你 输入密码 于 2012年10月04日 17:45, 小花喵 写道: 完全不知道怎么设置wifi。 ssid啥的输上，可是密码不知那输。 找到了半天还是发呆中。。。 * * *~*盛开如夏莲，美丽动人*~ **~شکوفه مانند لوتوس تابستان، زیبا~ *Me.Sina 小花(Jyu..)谨上 -- 下一部分 ---

Re: [Ubuntu-zh] 邮件列表？

可以上Google Groups看看，有很多，不过有些没什么人气。我加了CPyUG（python 交流，人气旺，加入要审批），还有学校的MSTC俱乐部 于 2012年09月30日 16:32, sunfy 写道: On 2012年09月30日 13:52, Richard Tsai wrote: 国内有很多 LUG啊，比如我加了gzlug，人气跟这里差不多 于 2012年09月30日 13:44, tlze 写道: shlug 在 2012-9-30 下午1:22，"sunfy" 写道： 谁还有邮件列表啊？像ubuntu的这个邮件列表。人多点的。*

Re: [Ubuntu-zh] 怎么用UBUNTU编C语言啊？

我们大学里用VC2008（Win）~不过我个人觉得，一个牛掰的编辑器 && gcc(g++) && gdb 才是王道~ Vim其实不难上手，我是今年高考完开始用，两个星期就用得很爽了（emacs没用过 不评论，拒绝骂战） 不过如果初学编程的话就不建议用Vim || emacs，Geany、Anjuta、Code::Blocks 都很好，如果要更 智能化的话还可以试试Eclipse CDT。不过，学编程，选哪种工具还是次要的，老 实写代码才是王道 于 2012年09月30日 16:30, sunfy 写道: On 2012年09月30日 13:44, Derek Zhu wrot

Re: [Ubuntu-zh] 邮件列表？

国内有很多LUG啊，比如我加了gzlug，人气跟这里差不多 于 2012年09月30日 13:44, tlze 写道: shlug 在 2012-9-30 下午1:22，"sunfy" 写道： 谁还有邮件列表啊？像ubuntu的这个邮件列表。人多点的。**讨论主题广泛的。 -- ubuntu-zh mailing list ubuntu-zh@lists.ubuntu.com https://lists.ubuntu.com/**mailman/listinfo/ubuntu-zh

Re: [Ubuntu-zh] 鼠标指针间歇性卡住

cat /var/log/syslog | grep mouse 于 2012年09月29日 08:05, zhang yu 写道: 另一台电脑也有这个问题， 问一下你的系统日志是从哪看的 在 2012年9月29日 上午12:12，Richard Tsai 写道： 重启似乎没必要吧，为那十秒钟的事。而且治标不治本。 于 2012年09月28日 17:10, zhang yu 写道: ideapad, dell鼠标，12041也遇到过这个情况， 但是没有看系统消息，当时是每隔一小会就会停一下， 间隔时间10几秒到30几秒不等， 重启后好了 在 2012年9月28日 下午

Re: [Ubuntu-zh] 鼠标指针间歇性卡住

重启似乎没必要吧，为那十秒钟的事。而且治标不治本。 于 2012年09月28日 17:10, zhang yu 写道: ideapad, dell鼠标，12041也遇到过这个情况， 但是没有看系统消息，当时是每隔一小会就会停一下， 间隔时间10几秒到30几秒不等， 重启后好了 在 2012年9月28日 下午3:48，Richard Tsai 写道： Ubuntu 12.04LTS，电脑是ThinkPad L421，使用TouchPad和TrackPoint作鼠标，使 用时每隔半小时左右会出现鼠标指针卡住不动，TouchPad和TrackPoint的 按钮也 无法工作，5秒钟左右

[Ubuntu-zh] 鼠标指针间歇性卡住

Ubuntu 12.04LTS，电脑是ThinkPad L421，使用TouchPad和TrackPoint作鼠标，使 用时每隔半小时左右会出现鼠标指针卡住不动，TouchPad和TrackPoint的 按钮也 无法工作，5秒钟左右恢复，同时系统日志中记录下如下信息： == Sep 28 15:27:27 richard-ThinkPad-L421 kernel: [11197.530392] psmouse serio4: Touc