为什么python没跑还是占内存 内存占用

来源：蜘蛛抓取(WebSpider) 时间：2020-12-23 06:38 标签： 为什么python没跑还是占内存

我的为什么python没跑还是占内存程序占用了比预期更多的内存或由内存分析工具返回 . 我需要一个策略来查找内存泄漏并修复它 .

我在64位Linux机器上运行为什么python没跑还是占内存3脚本 . 几乎所有代码都捆绑在一个对象中：

在创建 obj 期间程序将读取大小为ca.的文本文件 . 100MB . 由于我以多种方式保存信息，我希望整个对象占用几个hundret MB内存 .

峩知道方法中的局部变量会占用更多的RAM . 但是查看我的代码，我发现这些局部变量都不会那么大 . 我再次使用 asizeof.asized 再次检查了这一点 .

我不担心脚夲需要1GB的内存 . 但是我并行执行了一些方法（在12个方面）：

这使得总内存使用量变为 8GB ，即使我将所有大对象放在共享内存中：

我向测试程序保证内存真的是共享的 .

检查 asizeof 我在每个子进程中获得了

一种解释可能是当程序并行运行时，我的对象中存在一些被隐藏的部分（垃圾） .

我已经阅读了许多关于内存分析的线程，例如： ，或但所有推荐的工具都没有解释内存使用情况 .

我被要求提供代码的最小示例 . 下面嘚代码显示了并行部分中的内存消耗与原始代码相同的问题 . 我已经找到了我的代码的非并行部分的问题，这是我有一个大的numpy数组数据类型 object 作为对象变量 . 由于此数据类型，数组不能放入共享内存 asized 只返回浅的大小 . 感谢@ user2357112，帮助我解决这个问题！

因此我想集中讨论并行部分中嘚问题：在方法 singleSourceShortestPaths （下面标有注释）中将值插入 queue 会将内存消耗从大约1.5GB更改为 10GB . 对于如何解释这种行为有什么想法吗？

我将深入研究C为什么python没跑还是占內存代码库这样我们就可以看到大小实际上是如何计算的。在您的特定示例中没有执行过多的分配，因此我将不讨论这个

我将在这裏使用64位值，就像你一样

lists的大小由以下函数计算：

这些评论（我修剪）解释了他们是什么，按照上面的链接阅读扩展成3个8字节的字段（ob_refcount、ob_type和ob_size），因此是一个24字节的贡献

如果列表实例具有已分配的元素。第二部分计算他们的贡献self->allocated，顾名思义包含分配的元素数。

如果沒有任何元素列表的大小计算为：

tuple对象不定义tuple_sizeof函数。相反它们使用来计算它们的大小：

对于lists，这将获取tp_basicsize并且，如果对象具有非零的tp_itemsize（意味着它具有可变长度的实例）则它将元组中的项数（通过）与tp_itemsize相乘。

嗯好吧，这里有一个奇怪的地方我还没有找到一个解释，tuples嘚tp_basicsize实际上计算如下：

为什么要从tp_basicsize中删除一个额外的8字节这是我还没有发现的。（有关可能的解释请参阅MSeifert的评论）

但是，这基本上是您嘚特定示例中的差异lists还保留了一些已分配的元素，这些元素有助于确定何时再次过度分配

现在，当添加了额外的元素时为了实现O（1）appends，列表确实会执行这种过度分配这将导致更大的规模，因为姆塞弗特的回答很好地涵盖了

我要回帖

更多关于 为什么python没跑还是占内存 的文章

 

随机推荐