背景
因为需要往项目数据库上传大量数据,数据是以文件的方式存储,所以采用django的bulk_create批量读取并上传,但是在上传过程中发现,上传程序占用的内存一直在上升,甚至到最后直接把内存占满了。
排查问题
刚开始首先怀疑的就是程序代码有问题导致内存没有释放,自己看没发现什么问题,请教同事帮忙看也没有发现什么问题,所以干脆就硬着头皮去试代码。在每次循环之后都加入gc.collect()
,尝试主动释放内存,发现问题仍然存在。
背景
因为需要往项目数据库上传大量数据,数据是以文件的方式存储,所以采用django的bulk_create批量读取并上传,但是在上传过程中发现,上传程序占用的内存一直在上升,甚至到最后直接把内存占满了。
排查问题
刚开始首先怀疑的就是程序代码有问题导致内存没有释放,自己看没发现什么问题,请教同事帮忙看也没有发现什么问题,所以干脆就硬着头皮去试代码。在每次循环之后都加入gc.collect()
,尝试主动释放内存,发现问题仍然存在。
Pigwan: 就当发朋友圈了
天天下载: 感谢分享!!!!!!!
Pigwan: 你这评论是自己写的吗?
Pigwan: 不太清楚,我这十年都有了...
Pigwan: 申请了俩月没过也没回信,放弃了。🤔