“超算方案”非特指。我是说楼主这个 > 听起来像一个超算任务队列调度问题 > 使用超算的解决方案也未免太过分
挺矛盾的。 有一些相关工具可能对楼主有用，比如 Ray 的 tune [1] 或者更轻量级的，仅仅拿来管理一下实验记记 log 可以考虑 neptune [2] 或其他类似物。 [1] https://docs.ray.io/en/latest/tune.html [2] https://neptune.ai/ -- Justin Wong On Tue, Aug 11, 2020, at 19:00, Zhiyuan Chen wrote: > 自动搜参的工具很多，还有微软NNI，英伟达Milano等等。他们应该都能满足需求。 > > 超算方案指的是什么？ > > ---- 在 星期二, 11 八月 2020 12:05:48 +0800 *Justin Wong <i...@bigeagle.me>* 撰写 ---- > >> 超参本身的管理可以使用 hpman [1] >> >> 计算任务的管理…… 除了并行 tmux 或者超算方案我想不到别的解。 >> >> [1] https://github.com/megvii-research/hpman >> >> -- >> Justin Wong >> >> >> >> On Mon, Aug 10, 2020, at 21:45, cdlum...@gmail.com wrote: >>> Hi, >>> >>> 我炼丹的时候经常会遇到需要运行大量实验（扫参数，或者 >>> 填一个大的数据表格），而实验数量又远超过手上资源能够 >>> 一口气并行运行完的程度，现在想与各位探讨一下关于这种 >>> 情况的解决方案大体思路和工具。 >>> >>> 假设我们有N个待运行的实验，每个实验具有不确定的属性 >>> （CPU，内存，GPU，显卡，IO等占用，优先级，开销）。 >>> 那么深入细节之后这个问题很快就听起来像一个超算任务队列 >>> 调度问题（pbs，htcondor）。但是讓炼丹师们在若干工作站 >>> 上使用超算的解决方案也未免太过分。 >>> >>> 基于这种需求，我很久以前实现过一个简单的工具来组织 >>> 这些实验并记录屏幕输出[1]. 但是后来tmux上了瘾就不再用 >>> 了，而一直是在tmux下挂并行任务，无法一次性并行完实验的 >>> 情况就将实验临时组织成多个串行脚本，再并行地挂到tmux上。 >>> >>> 我在想，炼丹师这么多，参数扫描应该也是高频需求，而目前 >>> 是否有比较成熟优雅的，框架无关的一个解决方案可以用来安排 >>> 大量实验，而又不至于上升到超算的复杂度？ >>> >>> 感谢！ >>> >>> [1] https://github.com/cdluminate/tq >>> >>> -- >>> 您收到此邮件是因为您订阅了Google网上论坛上的“TUNA 主邮件列表”群组。 >>> 要退订此群组并停止接收此群组的电子邮件，请发送电子邮件到tuna-general+unsubscr...@googlegroups.com。 >>> 要在网络上查看此讨论，请访问https://groups.google.com/d/msgid/tuna-general/0667fef0-e664-4699-9a82-e9452d4d0fe5n%40googlegroups.com >>> >>> <https://groups.google.com/d/msgid/tuna-general/0667fef0-e664-4699-9a82-e9452d4d0fe5n%40googlegroups.com?utm_medium=email&utm_source=footer>。 >> >> >> -- >> 您收到此邮件是因为您订阅了Google网上论坛上的“TUNA 主邮件列表”群组。 >> 要退订此群组并停止接收此群组的电子邮件，请发送电子邮件到tuna-general+unsubscr...@googlegroups.com。 >> 要在网络上查看此讨论，请访问https://groups.google.com/d/msgid/tuna-general/83e45af4-f224-4458-ba04-7f51d8840933%40www.fastmail.com >> >> <https://groups.google.com/d/msgid/tuna-general/83e45af4-f224-4458-ba04-7f51d8840933%40www.fastmail.com?utm_medium=email&utm_source=footer>。 > > > > zyc.ai acknowledges the Traditional Owners of Australia, their ancestors and > Elders, past and present. > Please consider the environment before printing. > > -- > 您收到此邮件是因为您订阅了Google网上论坛上的“TUNA 主邮件列表”群组。 > 要退订此群组并停止接收此群组的电子邮件，请发送电子邮件到tuna-general+unsubscr...@googlegroups.com。 > 要在网络上查看此讨论，请访问https://groups.google.com/d/msgid/tuna-general/173dd2d8602.11be1c34f860136.7107585214688615375%40zyc.ai > > <https://groups.google.com/d/msgid/tuna-general/173dd2d8602.11be1c34f860136.7107585214688615375%40zyc.ai?utm_medium=email&utm_source=footer>。 -- 您收到此邮件是因为您订阅了 Google 网上论坛的“TUNA 主邮件列表”群组。 要退订此群组并停止接收此群组的电子邮件，请发送电子邮件到tuna-general+unsubscr...@googlegroups.com。 要在网络上查看此讨论，请访问 https://groups.google.com/d/msgid/tuna-general/0088b590-2c9c-434e-923f-106f5088366a%40www.fastmail.com。
