python内存管理.md · Note/python

# Python内存管理机制

## 基础概念

### 变量

- 变量：存储对象的引用（内存地址），而不是对象的值
- 引用和真实值：**变量存储的对象引用地址在栈区，对象的值存放在堆区**
- 赋值：更改变量指向的内存地址

## 内存管理机制

### 引用计数

- 引用计数是一种非常高效的管理手段，当一个python对象被引用时其引用计数+1，不被引用时则计数-1，当其引用计数等于0时对象被销毁（**可能不会立刻被销毁**）

#### `__del__`

- `del()`函数删除的是变量，会导致变量指向的对象引用计数-1

- **当销毁实例时，Python解释器会调用`__del__`方法**，给实例最后的机会，让其释放外部资源
- <font color=red>**当引用计数为0时并不会立刻回收销毁实例！！**</font>，所以不要依赖`__del__`（详见**启动垃圾回收三种情况**）

### 垃圾回收（GC）

- 垃圾回收机制(简称GC)是Python解释器自带的一种机制，专门用来回收不可用的变量值所占用的内存空间，当一个变量值被绑定的变量名的个数为0时，该变量值无法被访问到，称为垃圾。

#### 引用计数（reference count)

- 引用计数也是一种垃圾回收机制，当对象引用计数为0时，会销毁对象；
- 如果出现**循环引用**，造成内存泄漏，对象无法被回收销毁。（标记清除机制）

```python
a = [1]
b = [2]
a.append(b)
b.append(a)

# 此时[1]和[2]相互引用，即使引用计数永远不会为0
```

#### 标记-清除（Mark—Sweep）

- 用于解决循环引用问题
- 标记清除（Mark—Sweep）算法是一种基于追踪回收（tracing GC）技术实现的垃圾回收算法看，分为 **标记阶段和清除阶段**

##### 标记

- GC会把所有的『活动对象』打上标记
- 什么是GC Roots可达的对象? 通过栈区(变量名)可到达(访问)的对象,就叫GC Roots可达的对象,
- 从GC Roots出发（全局变量、调用栈、寄存器），扫描栈区所有对象，将栈区里的对象（其存的是在堆区里的对象引用地址）可以直接或间接访问的堆区里的对象（对象引用地址，保存的真实值）标记为存活对象，其余堆对象为非存活，应该被删除

##### 清除（回收）

- 把那些没有标记的对象『非活动对象』进行回收

- 将标记为非存活的对象销毁

```python
a = [1]		# 内存地址：0x01
b = [2]		# 内存地址：0x02
a.append(b)
b.append(a)

del a		# 可以通过b->0x02->0x01	直接或间接访问 对象
del b		# 没有方法通过栈区里的对象(a,b)访问到0x01/0x02，标记为非存活对象，后期删除
```

#### 分代回收

- 策略的基本假设是：存活时间越久的对象，越不可能在后面的程序中变成垃圾
- 将所有对象分为`0，1，2`三代，新建对象均是0代对象，

```bash
1.python将所有的对象分为0.1.2三代
2.所有的新建对象均是0代对象
3.当某一代对象经过来及回收，依然存活，那么它就被归入下一代对象
4.垃圾回收启动时，一定会扫描所有的0代对象
5.如果0代经过一定次数的垃圾回收，那么就启动对0代和1代的扫描清理
6.当1代也经历了一定次数的垃圾回收后，那么会启动对0.1.2 即对所有的对象扫描

>>> import gc
>>> gc.get_threshold()
(700, 10, 10)
700: 新创建的对象减去从新创建的对象中回收的数量的差值大于700 就进行一次0代回收
10: 当0代回收进行10次的时候就进行一代回收（并且一代回收的时候也进行0代回收）
10: 同理，当一代回收进行10次的时候就进行2代回收（并且二代回收的时候也进行0代回收和一代回收）
```

#### 启动垃圾回收三种情况

- 调用gc.collect()，主动启动垃圾回收
- GC达到阈值的时候，分代回收设定到阈值（`gc.get_threshold()`）
- 程序退出的时候，主动启动垃圾回收

综合以上所述：**当引用计数为0时并不会立刻触发垃圾回收机制，需要满足以上三种情况之一。**

### 内存池

- Python中有分为大内存和小内存：（256K为界限分大小内存）
    - 大内存使用malloc进行分配
    - 小内存使用内存池进行分配

- python的内存池呈金字塔形状
    - 第-1, -2层主要有操作系统进行操作
    - 第0层是C语言中的malloc, free等内存分配和释放函数进行操作
    - 第1层和第2层是内存池，由python的接口函数 pymem_malloc函数实现
        - 若请求分配的内存在1~256K之间（小内存）就使用内存池管理系统进行分配，如果内存池中没有内存则调用malloc函数分配内存，但是每次只会分配一块大小为256K的大块内存，且不会调用free函数释放内存，将**该内存块留在内存池中以便下次使用**
    - 第3层是最上层，也就是我们对python对象的直接操作

python运行时会大量使用malloc和free操作，频繁在用户态和核心态之间进行切换，严重影响Python的执行效率。为加快python执行效率，python引入了内存池机制，用于管理小块内存的申请和释放。

## 其他

### Python中的堆栈结合

> [Python中的栈 || Python中的堆栈结合　 - 习久性成 - 博客园 (cnblogs.com)](https://www.cnblogs.com/hls-code/p/14700656.html)

1、内存中的堆栈和数据结构中的堆栈不是一个概念，可以说内存中的堆栈是真实存在的物理区，数据结构中的堆栈是抽象的数据存储结构。

2、内存空间在逻辑上分为三部分：代码区、静态数据区和动态数据区，动态数据区又分为栈区和堆区。

3、代码区：存储方法体的二进制代码。高级调度（作业调度）、中级调度（内存调度）、低级调度（进程调度）控制代码区执行代码的切换。

4、静态数据区：存储全局变量、静态变量、常量，常量包括final修饰的常量和String常量。系统自动分配和回收。

5、栈区：存储运行方法的形参、局部变量、返回值。由系统自动分配和回收。

6、堆区：new一个对象的引用或地址存储在栈区，指向该对象存储在堆区中的真实数据。【创建对象时，变量名引用对象；被引用对象的地址存储在栈区，地址指向的对象存储在堆区】

## 参考

- [Python笔记，内存管理（2）----垃圾回收_fiveym的博客-CSDN博客](https://blog.csdn.net/weixin_49750432/article/details/123767075)

- [python 关于循环引用以及标记清除的问题_听砜的技术博客_51CTO博客](https://blog.51cto.com/u_13764714/2373842)
- [python的垃圾回收机制的主要实现及过程_luckydog111111的博客-CSDN博客](https://blog.csdn.net/luckydog111111/article/details/106664397?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-1.pc_relevant_default&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-1.pc_relevant_default&utm_relevant_index=1)

- [Python的del和垃圾回收_lijiachang8的博客-CSDN博客](https://blog.csdn.net/lijiachang8/article/details/115772595)

Note/python

简介

发行版

贡献者

近期动态

Note/python .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

Note/python