Hi,

我炼丹的时候经常会遇到需要运行大量实验(扫参数,或者
填一个大的数据表格),而实验数量又远超过手上资源能够
一口气并行运行完的程度,现在想与各位探讨一下关于这种
情况的解决方案大体思路和工具。

假设我们有N个待运行的实验,每个实验具有不确定的属性
(CPU,内存,GPU,显卡,IO等占用,优先级,开销)。
那么深入细节之后这个问题很快就听起来像一个超算任务队列
调度问题(pbs,htcondor)。但是讓炼丹师们在若干工作站
上使用超算的解决方案也未免太过分。

基于这种需求,我很久以前实现过一个简单的工具来组织
这些实验并记录屏幕输出[1]. 但是后来tmux上了瘾就不再用
了,而一直是在tmux下挂并行任务,无法一次性并行完实验的
情况就将实验临时组织成多个串行脚本,再并行地挂到tmux上。

我在想,炼丹师这么多,参数扫描应该也是高频需求,而目前
是否有比较成熟优雅的,框架无关的一个解决方案可以用来安排
大量实验,而又不至于上升到超算的复杂度?

感谢!

[1] https://github.com/cdluminate/tq

-- 
您收到此邮件是因为您订阅了 Google 网上论坛的“TUNA 主邮件列表”群组。
要退订此群组并停止接收此群组的电子邮件,请发送电子邮件到tuna-general+unsubscr...@googlegroups.com。
要在网络上查看此讨论,请访问 
https://groups.google.com/d/msgid/tuna-general/0667fef0-e664-4699-9a82-e9452d4d0fe5n%40googlegroups.com。

回复