使用python时注意的内存、缓存问题
1. 在使用python时,常常会出现Memory Error,主要是由于Python不会自动回收内存,造成内存一直占用,可以采取手动释放内存的方法,详见Http://blog.csdn.net/nirendao/article/details/44426201/。
2. 在使用python将结果输出到文件时,可以采取:
方法一:将结果保存至python的数据结构DataFrame中,最后处理完成后一次性写到输出文件。
方法二:一边处理一边写入输出文件。
在数据量较小的情况下可以采用方法一,但是当数据量很大时,方法二比较适合。
详见http://blog.csdn.net/flyfrommath/article/details/78674044
相关文章