今天小编就为大家分享一篇python分块读取大数据,避免内存不足的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

一般来说，用pandas处理小于100兆的数据，性能不是问题。当用pandas来处理100兆至几个G的数据时，将会比较耗时，同时会导致程序因内存不足而运行失败。 当然，像Spark这类的工具能够胜任处理100G至几个T的大数据集，但要想充分发挥这些工具的优势，通常需要比较贵的硬件设备。而且，这些工具不像pandas那样具有丰富的进行高质量数据清洗、探索和分析的特性。对于中等规模的数据，我们的愿望是尽量让pandas继续发挥其优势，而不是换用其他工具。 本文我们讨论pandas的内存使用，展示怎样

火炬记忆自适应算法（TOMA） 一组帮助程序，可以更轻松地编写适应于可用（CUDA）内存的代码。具体来说，它将重试由于OOM（内存不足）条件而失败的代码，并自动降低批处理大小。 为了避免重复故障转移，实现了一个简单的缓存，该缓存会在给定调用和可用空闲内存的情况下记住上一次成功的批处理大小。 安装 要使用pip进行安装，请使用： pip install toma 要运行测试，请使用： python setup.py test 例子 from toma import toma toma . b

卷曲 aws-curl类似于curl但具有自动SIGV4签名，可简化对AWS服务的调用，而无需安装AWS CLI和Python。 该脚本是为嵌入式和轻量级Linux发行版，docker映像等设计的纯shell脚本。 与aws cli相比，该实用程序占用的内存也少得多，因此当尝试从a3 cli下载s3时，nano ec2实例不会死于“内存不足”。 先决条件 依存关系： openssl（或libressl） 卷曲 GNU coreutils（GNU日期，GNU sed等） 可以使用Home

程序运行，产生如下结果，然后进程终止，导致这一结果的原因很有可能是内存爆炸。 当两个较大的 (e.g., 10000*10000 维）ndarray 做运算(加法，or 乘法）时，很容易出现这样的结果. 解决办法： 大多数情况下，这种大矩阵都是稀疏的。尽可能地利用稀疏计算的方式，例如稀疏矩阵，或者只计算非 0 位置的值。 如果都是整数运算，可以设置 dtype=int，而非 dtype=float, 可以省下不少空间。 linux 系统下，使用 top 命令，可以很容易地看到内存（%M