6个Python内存优化技巧：提升代码效率

在项目不断扩大的过程中，有效管理计算资源变得不可或缺。Python相对于低级语言如C或C++来说，似乎内存利用率不够高。然而，事实上有很多方法可以显著优化Python程序的内存使用，而这些方法可能在实际应用中并未受到足够关注。本文将重点介绍Python的内置机制，掌握这些技巧将大幅提升Python编程技能。

内存使用分析

在进行内存优化之前，首先要了解内存的使用情况。Python提供了多种方法来获取对象的大小以及整个进程的内存占用情况。以下是几种常用方法：

<code>import numpy as np import sys import objgraph import psutil import pandas as pd ob = np.ones((1024, 1024, 1024, 3), dtype=np.uint8) # 获取对象大小 print(sys.getsizeof(ob) / (1024 * 1024)) # 获取当前进程的内存使用情况（包括对象和已安装包） print(psutil.Process().memory_info().rss / (1024 * 1024)) # 可视化对象结构 objgraph.show_refs([ob], filename='sample-graph.png') # 检查pandas.DataFrame内存占用 data = pd.DataFrame(data['data']) print(data.info(verbose=False, memory_usage='deep')) # 检查pandas.Series内存占用 print(data[0].memory_usage(deep=True))</code>

通过这些方法，我们可以根据对象的内存占用情况来评估实际的优化效果。

__slots__

Python作为一种动态类型语言，在面向对象方面具有更大的灵活性。然而，这种灵活性在底层可能会浪费更多内存。每个类的实例都维护一个特殊的字典(__dict__)来存储实例变量，而这种实现会消耗大量内存。

为了解决这个问题，Python提供了__slots__属性，通过指定类的有效属性名称作为白名单，来避免维护额外的字典。下面是一个使用__slots__的例子：

<code>class Author: __slots__ = ('name', 'age') def __init__(self, name, age): self.name = name self.age = age me = Author('Yang Zhou', 30) # AttributeError: 'Author' object has no attribute 'job'</code>

与使用__dict__相比，__slots__可以显著节省内存。例如：

<code>import sys class Author: def __init__(self, name, age): self.name = name self.age = age class AuthorWithSlots: __slots__ = ['name', 'age'] def __init__(self, name, age): self.name = name self.age = age me = Author('Yang', 30) me_with_slots = AuthorWithSlots('Yang', 30) # 比较内存使用 memory_without_slots = sys.getsizeof(me) + sys.getsizeof(me.__dict__) memory_with_slots = sys.getsizeof(me_with_slots) # __slots__类没有__dict__ print(memory_without_slots, memory_with_slots) # 152 48</code>

可见，使用__slots__可以明显节省内存。

生成器

生成器是Python中列表的惰性求值版本，适用于处理大型数据集。生成器在每次调用next()方法时生成一个项，而不是一次计算所有项，因此非常节省内存。以下是生成器的基本示例：

<code>def number_generator(): for i in range(100): yield i numbers = number_generator() print(next(numbers)) print(next(numbers))</code>

生成器显著节省内存使用。例如：

<code>import sys numbers = [i for i in range(100)] numbers_generator = (i for i in range(100)) print(sys.getsizeof(numbers_generator)) # 112 print(sys.getsizeof(numbers)) # 920</code>

使用生成器可以有效地节省内存。

内存映射文件

内存映射文件I/O是一种操作系统级别的优化技术，可以节省大量内存。Python通过内置模块提供了对内存映射文件的支持，使得使用这项技术变得非常方便。以下是内存映射文件的使用示例：

<code>import mmap with open('test.txt', "r+b") as f: with mmap.mmap(f.fileno(), 0) as mm: print(mm.read()) snippet = mm[0:10] print(snippet.decode('utf-8'))</code>

选择适当的数据类型

开发人员应当仔细选择数据类型，因为某些情况下使用一种数据类型会比另一种更节省内存。例如，元组比列表更节省内存，而数组比列表更节省内存。以下是一些示例：

<code>import sys import array my_tuple = (1, 2, 3, 4, 5) my_list = [1, 2, 3, 4, 5] print(sys.getsizeof(my_tuple)) # 80 print(sys.getsizeof(my_list)) # 120 my_list = [i for i in range(1000)] my_array = array.array('i', [i for i in range(1000)]) print(sys.getsizeof(my_list)) # 8856 print(sys.getsizeof(my_array)) # 4064</code>

字符串驻留

Python中的字符串驻留是一种优化技术，可以节省内存。小字符串值相同的情况下，它们会被隐式地存储并引用相同的对象。以下是一个示例：

<code>a = 'Y'*4096 b = 'Y'*4096 print(a is b) # True c = 'Y'*4097 d = 'Y'*4097 print(c is d) # False # 使用sys.intern()方法显式地驻留字符串 import sys c = sys.intern('Y'*4097) d = sys.intern('Y'*4097) print(c is d) # True</code>

这些优化技巧可以帮助你更有效地管理Python程序的内存使用，提升代码效率与资源管理水平。