> 假设我们有N个待运行的实验,每个实验具有不确定的属性
> (CPU,内存,GPU,显卡,IO等占用,优先级,开销)。
> 那么深入细节之后这个问题很快就听起来像一个超算任务队列
> 调度问题(pbs,htcondor)。但是讓炼丹师们在若干工作站
> 上使用超算的解决方案也未免太过分。

何出此言?工具是為人服務的,如果某個工具適合某個用途,竊以為大可不必在意其設計用途,拿來用便是了。

至於閣下所提需求,Slurm 似乎十分合適,提做備考。

> 
> 基于这种需求,我很久以前实现过一个简单的工具来组织
> 这些实验并记录屏幕输出[1]. 但是后来tmux上了瘾就不再用
> 了,而一直是在tmux下挂并行任务,无法一次性并行完实验的
> 情况就将实验临时组织成多个串行脚本,再并行地挂到tmux上。
> 
> 我在想,炼丹师这么多,参数扫描应该也是高频需求,而目前
> 是否有比较成熟优雅的,框架无关的一个解决方案可以用来安排
> 大量实验,而又不至于上升到超算的复杂度?

極端來講,當下超算無非是有高速互聯的一群 PC 罷了 (see Beowulf cluster),當成集群來管理,既 future proof 
又可應用成熟方案,何樂不為呢?

> 
> 感谢!
> 
> 
> [1] https://github.com/cdluminate/tq
> 


Regards,
-- 
Pengcheng Xu
https://jsteward.moe

-- 
您收到此邮件是因为您订阅了 Google 网上论坛的“TUNA 主邮件列表”群组。
要退订此群组并停止接收此群组的电子邮件,请发送电子邮件到tuna-general+unsubscr...@googlegroups.com。
要在网络上查看此讨论,请访问 
https://groups.google.com/d/msgid/tuna-general/00f101d66f20%24e03848f0%24a0a8dad0%24%40gmail.com。

Attachment: openpgp-digital-signature.asc
Description: PGP signature

回复