ncl中整数乘法的疑问

蒙牛伊利特仑苏 · 发表于 2023-6-27 16:54:22

登录后查看更多精彩内容~

您需要登录才可以下载或查看，没有帐号？立即注册

x

本帖最后由蒙牛伊利特仑苏于 2023-6-27 16:57 编辑

在编写NCL脚本时，假设nlat=207,nlon=252,dx=3000,dy=3000,计算area=nlat*nlon*dx*dy时（这意味着area、nlat、nlon、dx、dy均为整数变量），NCL计算得到1.324565e+09。如下图所示：

而在matlab中，计算area得到的结果是：

最后是matlab计算的结果正确，NCL的浮点运算结果也与之一致。但是有一个疑问，ncl的整数乘法为什么会得到这样错误的结果？其运算机制是怎样的？

AuuuTi · 发表于 2023-6-28 09:10:12

超位数了，你可以试试
nlat=207.
nlon=252.
dx=3000.
dy=3000.
area=nlat*nlon*dx*dy
print(area)

蒙牛伊利特仑苏 · 发表于 2023-6-28 15:09:22

本帖最后由蒙牛伊利特仑苏于 2023-6-28 15:13 编辑

好吧，我明白了。NCL中的整数为32位。在计算3000*3000*207*252时，位数是39位，所以舍弃了前7位而保留了后32位，转换为十进制后就是NCL经过整数运算后得到的结果。

蒙牛伊利特仑苏 · 发表于 2023-6-28 15:14:04

AuuuTi 发表于 2023-6-28 09:10
超位数了，你可以试试
nlat=207.
nlon=252.

谢谢指点

		自动登录	找回密码
密码			立即注册

[其他] ncl中整数乘法的疑问

登录后查看更多精彩内容~

浏览过的版块