./real.exe时被killed

张一鸣

一 、问题描述：
1.WRF三层嵌套，运行real.exe以后，只生成了d01和d02的wrfinput文件，没有生成d03的文件。
2.查看rsl.error文件没有报错信息以后发现real.exe直接断掉的，查看slurm日志显示：
mpirun noticed that process rank 4 with PID 32633 on node n0080 exited on signal 9 (Killed)。
3.尝试了很多办法：检查namelist.input中关于嵌套的参数设置、减少积分步长、增大核数、减少核数、使用unlimited命令等没有解决问题。

二、疑惑：
1.有没有过相似经历的老师，如果有的话能不能指点一下调整思路呢？谢谢

三、附件：

rsl.error报错内容

张一鸣

后续更新：
1.我单独缩小d03的范围以后就跑出来了d03wrfinput，因此可能是设置的分辨率高+范围大导致的。
2.所以可以确定是内存溢出的问题了。

kermit

内存充足吗 增加一个节点试试？

张一鸣

kermit 发表于 2022-10-14 19:23
内存充足吗 增加一个节点试试？

谢谢大佬的建议。
我已经试过用6个节点96核都没跑出d03的wrfinput，大佬您还有别的想法吗？

tbag

加一下debug level看一下
然后d02的input文件是否创建完毕，也就是rsl中是否有d02 complete之类的，如果有，那问题就是d03的事儿。不行的话把max_dom改成2，看是否能完全跑完。

我看了一下上面，你这个范围很大很大啊，96核基本不够啊，内存是否充足呢？？
你的d01都接近3000x2000了。我记得wrf网上有个脚本能根据你的namelist去计算需要的核数，也许你需要计算一下。

张一鸣

tbag 发表于 2022-10-15 05:36
加一下debug level看一下
然后d02的input文件是否创建完毕，也就是rsl中是否有d02 complete之类的，如果有 ...

谢谢大佬回复
1.我把debug level 开到过1000，但是生成的rsl里面也没warning。
2.开三层嵌套时rsl中没有complete，但是如果去掉最内层再real一下rsl中就显示了d01 2006-08-01_01:00:00 real_em: SUCCESS COMPLETE REAL_EM INIT
3.目前在网上搜到对于这个问题的处理办法呈现两极分化，有的帖子是核数减半（wrf forum上有个一样报错的解决办法是72核减到36核）跑出来了，有的呢是增加核数。我最高开过6个节点96核来跑，但是没跑出来，也用过一个节点4核来跑，同样没跑出d03的wrfinput。所以对此很迷惑
谢谢大佬指点方向，我接下来对内存不足方向进行寻找解决方法，最后感谢您解答，谢谢

klingel

张一鸣 发表于 2022-10-15 10:41
谢谢大佬回复
1.我把debug level 开到过1000，但是生成的rsl里面也没warning。
2.开三层嵌套时rsl中没 ...

你好，请问你对这个问题是怎么看的？我目前也遇到了这个问题。

张一鸣

klingel 发表于 2023-4-19 19:34
你好，请问你对这个问题是怎么看的？我目前也遇到了这个问题。

导致问题的原因我忘了，大概率就是计算量过大，还有分辨率过高导致的