其实我觉得 PBS 相当科学…… -- Shengqi Chen
在2020年8月10日星期一 UTC+8 下午10:09:32<cdlum...@gmail.com> 写道： > Hi, > > 我炼丹的时候经常会遇到需要运行大量实验（扫参数，或者 > 填一个大的数据表格），而实验数量又远超过手上资源能够 > 一口气并行运行完的程度，现在想与各位探讨一下关于这种 > 情况的解决方案大体思路和工具。 > > 假设我们有N个待运行的实验，每个实验具有不确定的属性 > （CPU，内存，GPU，显卡，IO等占用，优先级，开销）。 > 那么深入细节之后这个问题很快就听起来像一个超算任务队列 > 调度问题（pbs，htcondor）。但是讓炼丹师们在若干工作站 > 上使用超算的解决方案也未免太过分。 > > 基于这种需求，我很久以前实现过一个简单的工具来组织 > 这些实验并记录屏幕输出[1]. 但是后来tmux上了瘾就不再用 > 了，而一直是在tmux下挂并行任务，无法一次性并行完实验的 > 情况就将实验临时组织成多个串行脚本，再并行地挂到tmux上。 > > 我在想，炼丹师这么多，参数扫描应该也是高频需求，而目前 > 是否有比较成熟优雅的，框架无关的一个解决方案可以用来安排 > 大量实验，而又不至于上升到超算的复杂度？ > > 感谢！ > > [1] https://github.com/cdluminate/tq > -- 您收到此邮件是因为您订阅了 Google 网上论坛的“TUNA 主邮件列表”群组。 要退订此群组并停止接收此群组的电子邮件，请发送电子邮件到tuna-general+unsubscr...@googlegroups.com。 要在网络上查看此讨论，请访问 https://groups.google.com/d/msgid/tuna-general/d1a33577-8b01-47fe-949a-2921557efe64n%40googlegroups.com。
