> 假设我们有N个待运行的实验,每个实验具有不确定的属性 > (CPU,内存,GPU,显卡,IO等占用,优先级,开销)。 > 那么深入细节之后这个问题很快就听起来像一个超算任务队列 > 调度问题(pbs,htcondor)。但是讓炼丹师们在若干工作站 > 上使用超算的解决方案也未免太过分。
何出此言?工具是為人服務的,如果某個工具適合某個用途,竊以為大可不必在意其設計用途,拿來用便是了。 至於閣下所提需求,Slurm 似乎十分合適,提做備考。 > > 基于这种需求,我很久以前实现过一个简单的工具来组织 > 这些实验并记录屏幕输出[1]. 但是后来tmux上了瘾就不再用 > 了,而一直是在tmux下挂并行任务,无法一次性并行完实验的 > 情况就将实验临时组织成多个串行脚本,再并行地挂到tmux上。 > > 我在想,炼丹师这么多,参数扫描应该也是高频需求,而目前 > 是否有比较成熟优雅的,框架无关的一个解决方案可以用来安排 > 大量实验,而又不至于上升到超算的复杂度? 極端來講,當下超算無非是有高速互聯的一群 PC 罷了 (see Beowulf cluster),當成集群來管理,既 future proof 又可應用成熟方案,何樂不為呢? > > 感谢! > > > [1] https://github.com/cdluminate/tq > Regards, -- Pengcheng Xu https://jsteward.moe -- 您收到此邮件是因为您订阅了 Google 网上论坛的“TUNA 主邮件列表”群组。 要退订此群组并停止接收此群组的电子邮件,请发送电子邮件到tuna-general+unsubscr...@googlegroups.com。 要在网络上查看此讨论,请访问 https://groups.google.com/d/msgid/tuna-general/00f101d66f20%24e03848f0%24a0a8dad0%24%40gmail.com。
openpgp-digital-signature.asc
Description: PGP signature