來源:不言 發(fā)布時間:2018-11-16 16:21:27 閱讀量:1016
本篇文章給大家?guī)淼膬热菔顷P于Nginx的內存管理的深入理解(圖),有一定的參考價值,有需要的朋友可以參考一下,希望對你有所幫助。
一. 概述
應用程序的內存可以簡單分為堆內存,棧內存。對于棧內存而言,在函數(shù)編譯時,編譯器會插入移動棧當前指針位置的代碼,實現(xiàn)??臻g的自管理。而對于堆內存,通常需要程序員進行管理。我們通常說的內存管理亦是只堆空間內存管理。
對于內存,我們的使用可以簡化為3步,申請內存、使用內存、釋放內存。申請內存,使用內存通常需要程序員顯示操作,釋放內存卻并不一定需要程序員顯示操作,目前很多的高級語言提供了垃圾回收機制,可以自行選擇時機釋放內存,例如: Go、Java已經(jīng)實現(xiàn)垃圾回收, C語言目前尚未實現(xiàn)垃圾回收,C++中可以通過智能指針達到垃圾回收的目的。
除了語言層面的內存管理外,有時我們需要在程序中自行管理內存,總體而言,對于內存管理,我認為主要是解決以下問題:
用戶申請內存時,如何快速查找到滿足用戶需求的內存塊?
用戶釋放內存時,如何避免內存碎片化?
無論是語言層面實現(xiàn)的內存管理還是應用程序自行實現(xiàn)的內存管理,大都將內存按照大小分為幾種,每種采用不同的管理模式。常見的分類是按照2的整數(shù)次冪分,將不同種類的內存通過鏈表鏈接,查詢時,從相應大小的鏈表中尋找,如果找不到,則可以考慮從更大塊內存中,拿取一塊,將其分為多個小點的內存。當然,對于特別大的內存,語言層面的內存管理可以直接調用內存管理相關的系統(tǒng)調用,應用層面的內存管理則可以直接使用語言層面的內存管理。
nginx內存管理整體可以分為2個部分,
第一部分是常規(guī)的內存池,用于進程平時所需的內存管理;
第二部分是共享內存的管理??傮w而言,共享內存較內存池要復雜的多。
二. nginx內存池管理
2.1 說明
本部分使用的nginx版本為1.15.3
具體源碼參見src/core/ngx_palloc.c文件
2.2 nginx實現(xiàn)
2.2.1 使用流程
nginx內存池的使用較為簡單,可以分為3步,
調用ngx_create_pool函數(shù)獲取ngx_pool_t指針。
1 2 |
|
調用ngx_palloc申請內存使用
1 2 |
|
釋放內存(可以釋放大塊內存或者釋放整個內存池)
1 2 3 4 |
|
如下圖所示,nginx將內存分為2種,一種是小內存,一種是大內存,當申請的空間大于pool->max時,我們認為是大內存空間,否則是小內存空間。
1 2 |
|
對于小塊內存空間, nginx首先查看當前內存塊待分配的空間中,是否能夠滿足用戶需求,如果可以,則直接將這部分內存返回。如果不能滿足用戶需求,則需要重新申請一個內存塊,申請的內存塊與當前塊空間大小相同,將新申請的內存塊通過鏈表鏈接到上一個內存塊,從新的內存塊中分配用戶所需的內存。
小塊內存并不釋放,用戶申請后直接使用,即使后期不再使用也不需要釋放該內存。由于用戶有時并不知道自己使用的內存塊是大是小,此時也可以調用ngx_pfree函數(shù)釋放該空間,該函數(shù)會從大空間鏈表中查找內存,找到則釋放內存。對于小內存而言,并未做任何處理。
對于大塊內存, nginx會將這些內存放到鏈表中存儲,通過pool->large進行管理。值得注意的是,用戶管理大內存的ngx_pool_large_t結構是從本內存池的小塊內存中申請而來,也就意味著無法釋放這些內存,nginx則是直接復用ngx_pool_large_t結構體。當用戶需要申請大內存空間時,利用c函數(shù)庫malloc申請空間,然后將其掛載某個ngx_pool_large_t結構體上。nginx在需要一個新的ngx_pool_large_t結構時,會首先pool->large鏈表的前3個元素中,查看是否有可用的,如果有則直接使用,否則新建ngx_pool_large_t結構。
三. nginx共享內存管理
3.1 說明
本部分使用的nginx版本是1.15.3
本部分源碼詳見src/core/ngx_slab.c, src/core/ngx_shmtx.c
nginx共享內存內容相對較多,本文僅做簡單概述。
3.2 直接使用共享內存
3.2.1 基礎
nginx中需要創(chuàng)建互斥鎖,用于后面多進程同步使用。除此之外,nginx可能需要一些統(tǒng)計信息,例如設置(stat_stub),對于這些變量,我們并不需要特意管理,只需要開辟共享空間后,直接使用即可。
設置stat_stub后所需的統(tǒng)計信息,亦是放到共享內存中,我們此處僅以nginx中的互斥鎖進行說明。
3.2.2 nginx互斥鎖的實現(xiàn)
nginx互斥鎖,有兩種方案,當系統(tǒng)支持原子操作時,采用原子操作,不支持時采用文件鎖。本節(jié)源碼見ngx_event_module_init函數(shù)。
下圖為文件鎖實現(xiàn)互斥鎖的示意圖。
下圖為原子操作實現(xiàn)互斥鎖的示意圖。
問題
reload時,新啟動的master向老的master發(fā)送信號后直接退出,舊的master,重新加載配置(ngx_init_cycle函數(shù)), 新創(chuàng)建工作進程, 新的工作進程與舊的工作進程使用的鎖是相同的。
平滑升級時, 舊的master會創(chuàng)建新的master, 新的master會繼承舊的master監(jiān)聽的端口(通過環(huán)境變量傳遞監(jiān)聽套接字對應的fd),新的進程并沒有重新綁定監(jiān)聽端口??赡艽嬖谛吕蟱orker同時監(jiān)聽某個端口的情況,此時操作系統(tǒng)會保證只會有一個進程處理該事件(雖然epoll_wait都會被喚醒)。
3.3 通過slab管理共享內存
nginx允許各個模塊開辟共享空間以供使用,例如ngx_http_limit_conn_module模塊。
nginx共享內存管理的基本思想有:
1、將內存按照頁進行分配,每頁的大小相同, 此處設為page_size。
2、將內存塊按照2的整數(shù)次冪進行劃分, 最小為8bit, 最大為page_size/2。例如,假設每頁大小為4Kb, 則將內存分為8, 16, 32, 64, 128, 256, 512, 1024, 2048共9種,每種對應一個slot, 此時slots數(shù)組的大小n即為9。申請小塊內存(申請內存大小size <= page_size/2)時,直接給用戶這9種中的一種,例如,需要30bit時,找大小為32的內存塊提供給用戶。
3、每個頁只會劃分一種類型的內存塊。例如,某次申請內存時,現(xiàn)有內存無法滿足要求,此時會使用一個新的頁,則這個新頁此后只會分配這種大小的內存。
4、通過雙向鏈表將所有空閑的頁連接。圖中ngx_slab_pool_t中的free變量即使用來鏈接空閑頁的。
5、通過slots數(shù)組將所有小塊內存所使用的頁鏈接起來。
6、對于大于等于頁面大小的空間請求,計算所需頁數(shù),找到連續(xù)的空閑頁,將空閑頁的首頁地址返回給客戶使用,通過每頁的管理結構ngx_slab_page_t進行標識。
7、所有頁面只會有3中狀態(tài),空閑、未滿、已滿??臻e,未滿都是通過雙向鏈表進行整合,已滿頁面則不存在與任何頁面,當空間被釋放時,會將其加入到某個鏈表。
nginx共享內存的基本結構圖如下:
在上圖中,除了最右側的ngx_slab_pool_t接口開始的一段內存位于共享內存區(qū)外,其他內存都不是共享內存。