python lambda如何管理内存

帐号:密码:下次自动登录{url:/nForum/slist.json?uid=guest&root=list-section}{url:/nForum/nlist.json?uid=guest&root=list-section}
贴数:1&分页:人生不如意十之八九发信人: lqa (人生不如意十之八九), 信区: Python
标&&题: 有没有什么方法监事python的内存使用情况
发信站: 水木社区 (Mon Feb 16 14:24:44 2015), 转信 && 一个不到100行的小程序,就是处理一个40w行的文本文件,然后把它存入mysql。在一台1G内存的虚拟机上跑,结果跑到一半虚拟机的报内存不足的错误了。
难道是程序的存在内存泄露的问题?一半python也很少有这种情况吧。有没有什么工具来监视python内部内存的分配使用的情况? &&&& -- && ※ 来源:·水木社区 ·[FROM: 101.81.68.*]
文章数:1&分页:4.90k 阅读
当下设备越来越便宜,配置越来越高,大多数时候帮助我们解决了诸多问题,代码上省事儿太多了。
而且,数据加载到内存再处理,速度相当快哈。
可就算你的内存32G,要处理个上白G的文件、上T的文件,咋整?
以读取文本文件为例,python有两种方法:
f = open(filename, '打开方式', encoding=编码)
① for line in f
&② for line in f.readlines()
for line in f 语句将 file 对象转换成 iterable object ,
既然是可迭代对象,一次只加载一个 item ,解释器不会将所有 items 放进内存,因此节省了资源。
在 python 2.3 以前,要用 f.xreadlines()方法读大文件,它和 xrange 的作用一样,都是处理 iter(object),但在 2.3 后,官方明确用 for line in f 读取大文件。&
for line in f.readlines() 语句和第一个类似,但是它先执行 f.readlines(),直接把 file 对象中所有的 line items 列表存进内存,在它们之上进行循环读取。&
因此,读取大文件时用第一个语句,一般小文件这两个都可以。
当然了,为了提高效率
【请原谅我写了一半保存草稿,当我再次发现本文时,忘记了上述未写完的一句话的后面是什么 泪啊。】
最近更新文章
更新时间:
更新时间:
更新时间:
更新时间:
更新时间:
更新时间:
更新时间:
更新时间:
最近更新文章
更新时间:
更新时间:
更新时间:
更新时间:
更新时间:
更新时间:
更新时间:
更新时间:
更新时间:
更新时间:解读Python内存管理机制 | 脚本语言
解读Python内存管理机制
内存管理,对于Python这样的动态语言,是至关重要的一部分,它在很大程度上甚至决定了Python的执行效率,因为在Python的运行中,会创建和销毁大量的对象,这些都涉及到内存的管理。
51CTO推荐阅读:
小块空间的内存池
在Python中,许多时候申请的内存都是小块的内存,这些小块内存在申请后,很快又会被释放,由于这些内存的申请并不是为了创建对象,所以并没有对象一级的内存池机制。第一章 python入门与基础
第二章 Python数据结构
第三章 python逻辑控制
第四章 函数与编程
第五章 模块_包与导入
第六章 文件操作
第七章 面向对象程序设计
第八章 异常处理
点击获取更多
没有更多了
加入学习后,就可以记笔记了
同学的问题
点击获取更多
没有更多了
加入学习后,就可以提问题了
Loading...

我要回帖

更多关于 python pass的用法 的文章

 

随机推荐