記憶管理 - 版の履歴

Hironobu: /* 動的なメモリ領域確保 */

2022-11-17T15:17:44Z

動的なメモリ領域確保

← 古い版		2022年11月17日 (木) 15:17時点における版
206行目:		206行目:
	* プログラム: malloctest.c		* プログラム: malloctest.c
	<syntaxhighlight lang='C' line="1" >		<syntaxhighlight lang='C' line="1" >
	#include <stdlib.h>
	main()		#include <stdlib.h>
			#include <errno.h>
			#include <unistd.h>
			#include <stdio.h>
			int main()
	{		{
	char *p;		char *p;
217行目:		221行目:
	free(p);		free(p);
	}		}

	</syntaxhighlight>		</syntaxhighlight>

222行目:		227行目:

	<pre class="bash">		<pre class="bash">
	$ cc malloctest.c		$ cc malloctest.c
	$ ./a.out &		./a.out &
	$ ps ~~axu \| grep a.out~~		[1] 93627
	hironobu ~~29813~~ ~~0.0~~ ~~0.0 525528 284 pts/8 S 17:32~~ ~~0:00~~ ./a.out		$ ps -o user,pid,vsize,rss,cmd
	-~~--この並びは下の様になっています---~~		USER PID VSZ RSS CMD
	~~USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND~~		hironobu 87439 10752 6392 bash
			hironobu 93627 526788 580 ./a.out
			hironobu 93628 9928 3440 ps -o user,pid,vsize,rss,cmd

	</pre>		</pre>


	このプログラムは512MBメモリ領域をmalloc(3)~~を使いアロケーションしています。実行時の状況をpsで見てみると、VSZが525528、RSSが284となっています。VSZはVirtual~~ memory Sizeのことで仮想記憶もふくめて全部のメモリサイズです。RSSはReal Set Sizeのことで、実メモリ(物理的なメモリ)で専有しているメモリサイズです。つまり、このプログラムは約523.5MBもの記憶領域を取っているにもかかわらず、実際の実メモリ上では284KBしか取られていません。		このプログラムは512MBメモリ領域をmalloc(3)を使いアロケーションしています。実行時の状況をpsで見てみると、VSZが526788、RSSが580となっています。VSZはVirtual memory Sizeのことで仮想記憶もふくめて全部のメモリサイズです。RSSはReal Set Sizeのことで、実メモリ(物理的なメモリ)で専有しているメモリサイズです。つまり、このプログラムは約527MBもの記憶領域を取っているにもかかわらず、実際の実メモリ上では580KBしか取られていません。

Hironobu: /* zswap */

2022-05-29T08:14:30Z

zswap

← 古い版		2022年5月29日 (日) 08:14時点における版
158行目:		158行目:

	zswap[https://www.kernel.org/doc/Documentation/vm/zswap.txt]は、 Linux kernel version 3.15 から入った仮想メモリ圧縮 (Virtual Memory Compression)を利用したスワップで、外部記憶装置にページをスワップするのではなく、実メモリ上に作った圧縮ブロックデバイスにページをスワップする機能でです。実メモリ上にスワップできなくなった時に、これまでのスワップ機能で用意しているスワップ領域にスワップを始めます。		zswap[https://www.kernel.org/doc/Documentation/vm/zswap.txt]は、 Linux kernel version 3.15 から入った仮想メモリ圧縮 (Virtual Memory Compression)を利用したスワップで、外部記憶装置にページをスワップするのではなく、実メモリ上に作った圧縮ブロックデバイスにページをスワップする機能でです。実メモリ上にスワップできなくなった時に、これまでのスワップ機能で用意しているスワップ領域にスワップを始めます。



	ディスクなどメモリから比較すると低速なストレージへのI/Oが少なくなるため、頻繁にページアウトが発生しスワップファイルへのI/Oがボトルネックになるようなケースでは有用な機能です。フラッシュメモリを使ったSSDのような書き換え上限があるような外部記憶装置上にスワップファイルを作ると頻繁なスワップはメディアの劣化が進むためzswapが有効であるという議論もあります。圧縮処理が行われるため、その分、CPUに負荷がかかります。ただし、それがI/Oのオーバーヘッドによる処理の低下と比較し、相対的にどちらに利益があるかは、個々のシステム構成によって変化する議論であることは注意してください。		ディスクなどメモリから比較すると低速なストレージへのI/Oが少なくなるため、頻繁にページアウトが発生しスワップファイルへのI/Oがボトルネックになるようなケースでは有用な機能です。フラッシュメモリを使ったSSDのような書き換え上限があるような外部記憶装置上にスワップファイルを作ると頻繁なスワップはメディアの劣化が進むためzswapが有効であるという議論もあります。圧縮処理が行われるため、その分、CPUに負荷がかかります。ただし、それがI/Oのオーバーヘッドによる処理の低下と比較し、相対的にどちらに利益があるかは、個々のシステム構成によって変化する議論であることは注意してください。

Hironobu: /* swapon */

2022-05-29T08:13:56Z

swapon

← 古い版		2022年5月29日 (日) 08:13時点における版
153行目:		153行目:

	;補足: Linux 2.6.32でスワップについて試したことのメモランダム [[linuxのswapについて私が知っている二、三の事柄]]		;補足: Linux 2.6.32でスワップについて試したことのメモランダム [[linuxのswapについて私が知っている二、三の事柄]]


			==== zswap ====

			zswap[https://www.kernel.org/doc/Documentation/vm/zswap.txt]は、 Linux kernel version 3.15 から入った仮想メモリ圧縮 (Virtual Memory Compression)を利用したスワップで、外部記憶装置にページをスワップするのではなく、実メモリ上に作った圧縮ブロックデバイスにページをスワップする機能でです。実メモリ上にスワップできなくなった時に、これまでのスワップ機能で用意しているスワップ領域にスワップを始めます。

			ディスクなどメモリから比較すると低速なストレージへのI/Oが少なくなるため、頻繁にページアウトが発生しスワップファイルへのI/Oがボトルネックになるようなケースでは有用な機能です。フラッシュメモリを使ったSSDのような書き換え上限があるような外部記憶装置上にスワップファイルを作ると頻繁なスワップはメディアの劣化が進むためzswapが有効であるという議論もあります。圧縮処理が行われるため、その分、CPUに負荷がかかります。ただし、それがI/Oのオーバーヘッドによる処理の低下と比較し、相対的にどちらに利益があるかは、個々のシステム構成によって変化する議論であることは注意してください。

	== 局所参照性 ==		== 局所参照性 ==

Hironobu: /* mmap */

2020-11-05T18:25:12Z

mmap

← 古い版		2020年11月5日 (木) 18:25時点における版
325行目:		325行目:
	#include <sys/stat.h>		#include <sys/stat.h>
	#include <sys/mman.h>		#include <sys/mman.h>
	main()		int main(void)
	{		{
	int fd;		int fd;
334行目:		334行目:
	fstat(fd, &st);		fstat(fd, &st);
	p=mmap(0,st.st_size,(PROT_READ\|PROT_WRITE),MAP_PRIVATE,fd,0);		p=mmap(0,st.st_size,(PROT_READ\|PROT_WRITE),MAP_PRIVATE,fd,0);
	for(i=0; i < st.st_size -1 ; i++) {		for(i=0; i < st.st_size; i++) {
	printf("[%c]",p[i]);		printf("[%c]",p[i]);
	}		}
343行目:		343行目:
	* 実行		* 実行
	<pre class="bash">		<pre class="bash">
	$ echo 'abcdefg' > dat		$ echo -n 'abcdefg' > dat
	$ cc mmap.c		$ cc mmap.c
	$ ./a.out		$ ./a.out
370行目:		370行目:

	ファイルもメモリも、さらにデバイスすらも単純な1つの記憶空間として扱おうというコンセプトが単一レベル記憶です。		ファイルもメモリも、さらにデバイスすらも単純な1つの記憶空間として扱おうというコンセプトが単一レベル記憶です。
	現在、オペレーティングシステムレベルでサポートしているのはIBM社のSystem iシリーズ<ref>		現在、オペレーティングシステムレベルでサポートしているのはIBM社のSystem iシリーズ
			<ref>
	IBMのサイトにあるIBM System iの単一レベル記憶の解説 : http://www-06.ibm.com/systems/jp/i/seminar/reconf/reconf1.shtml		IBMのサイトにあるIBM System iの単一レベル記憶の解説 : http://www-06.ibm.com/systems/jp/i/seminar/reconf/reconf1.shtml
	</ref>		</ref>
	ぐらいしかないので、		ぐらいしかないので、
	インターネット上で説明を探すとIBM System iの機能＝単一レベル記憶の定義みたいな説明しかありませんが、		インターネット上で説明を探すとIBM System iの機能＝単一レベル記憶の定義みたいな説明しかありませんが、
	~~実は、その歴史は古く1960年代に作られたMultics上に既に実装されています。~~		実は、その歴史は古く1960年代に作られたMultics上に既に実装
			<ref>
			Multics and More VM
			https://users.cs.duke.edu/~chase/cps210-archive/slides/multics-vm.pdf
			</ref>
			されています。


	~~UNIXは単一レベル記憶を前提としているデザインはありませんが、~~		UNIXは単一レベル記憶を前提としているデザインはありませんが、現在のUNIX系のオペレーティングシステムはmmapを実装することによってファイルもメモリも、そしてデバイスも同様に扱うことができる利益を得ています。
	~~現在のUNIX系のオペレーティングシステムはmmapを実装することによってファイルもメモリも、~~		例としては今時のLinuxやその他UNIX系のオペレーティングシステムでは実行バイナリやライブラリを動かすとき、一々ファイルの中身を読み込む動作をせず、実行するバイナリデータを内部でマップしてしまいます。
	~~そしてデバイスも同様に扱うことができる利益を得ています。~~		ですから古典的なUNIXで言われるような、「実行バイナリファイルをメモリに読み込み実行する」という表現は、少なくとも現在のLinuxの実行時の表現としては適切ではないという状況になっています。あとデバイスの利用例としては、malloc()のいくつかの実装
	~~例としては今時のLinuxやその他UNIX系のオペレーティングシステムでは実行バイナリやライブラリを動かすとき、~~		<ref>
	~~一々ファイルの中身を読み込む動作をせず、~~		The GNU Allocator
	~~実行するバイナリデータを内部でマップしてしまいます。~~		https://www.gnu.org/software/libc/manual/html_node/The-GNU-Allocator.html
	~~ですから古典的なUNIXで言われるような、~~		</ref>
	~~「実行バイナリファイルをメモリに読み込み実行する」という表現は、~~		では内部で記憶領域を確保するとき/dev/zeroをmmapでオープンして使っています。
	~~少なくとも現在のLinuxの実行時の表現としては適切ではないという状況になっています。~~
	~~あとデバイスの利用例としては、malloc()のいくつかの実装では内部で記憶領域を確保するとき~~/dev/zeroをmmapでオープンして使っています。
	~~mmapの機能の背景にある単一レベル記憶というキーワードは知っていて損はないでしょう。~~

	== 脚注 ==		== 脚注 ==

Hironobu: /* ページ */

2020-11-05T17:53:23Z

ページ

← 古い版		2020年11月5日 (木) 17:53時点における版
35行目:		35行目:
	これらはCPUのアーキテクチャーに依存するので異なる場合があります。例えばIBM POWER5+ や POWER6 プロセッサーは64KBのページサイズも利用することが出来ます。		これらはCPUのアーキテクチャーに依存するので異なる場合があります。例えばIBM POWER5+ や POWER6 プロセッサーは64KBのページサイズも利用することが出来ます。

	[https://www.ibm.com/support/knowledgecenter/ssw_aix_72/performance/multiple_page_size_support.html Multiple page size support]		([https://www.ibm.com/support/knowledgecenter/ssw_aix_72/performance/multiple_page_size_support.html Multiple page size support])
			</ref>
			<ref>
	x86-64(Intel 64)アーキテクチャーの場合2MBと1GBの拡大したページサイズが使えます。		x86-64(Intel 64)アーキテクチャーの場合2MBと1GBの拡大したページサイズが使えます。
	[https://software.intel.com/sites/default/files/managed/a4/60/325384-sdm-vol-3abcd.pdf Intel 64 and IA-32 Architectures Software Developer’s Manual]		([https://software.intel.com/sites/default/files/managed/a4/60/325384-sdm-vol-3abcd.pdf Intel 64 and IA-32 Architectures Software Developer’s Manual])

	</ref>		</ref>
	ですが、多くのCPUの最小ページサイズが4KBなのでLinuxのページサイズはデフォルトで4KBとなっています。		ですが、多くのCPUの最小ページサイズが4KBなのでLinuxのページサイズはデフォルトで4KBとなっています。

Hironobu: /* ページ */

2020-11-05T17:52:08Z

ページ

← 古い版		2020年11月5日 (木) 17:52時点における版
39行目:		39行目:

	x86-64(Intel 64)アーキテクチャーの場合2MBと1GBの拡大したページサイズが使えます。		x86-64(Intel 64)アーキテクチャーの場合2MBと1GBの拡大したページサイズが使えます。
			[https://software.intel.com/sites/default/files/managed/a4/60/325384-sdm-vol-3abcd.pdf Intel 64 and IA-32 Architectures Software Developer’s Manual]
	[https://software.intel.com/sites/default/files/managed/a4/60/325384-sdm-vol-3abcd.pdf Intel 64 and IA-32 Architectures
	Software Developer’s Manual]

	</ref>		</ref>

Hironobu: /* ページ */

2020-11-05T17:50:21Z

ページ

← 古い版		2020年11月5日 (木) 17:50時点における版
35行目:		35行目:
	これらはCPUのアーキテクチャーに依存するので異なる場合があります。例えばIBM POWER5+ や POWER6 プロセッサーは64KBのページサイズも利用することが出来ます。		これらはCPUのアーキテクチャーに依存するので異なる場合があります。例えばIBM POWER5+ や POWER6 プロセッサーは64KBのページサイズも利用することが出来ます。

	[https://www.ibm.com/~~developerworks~~/~~community~~/~~wikis~~/~~home?lang=en#!/wiki/Welcome%20to%20High%20Performance%20Computing%20%28HPC%29%20Central~~/page~~/64KB%20pages%20on%20Linux%20for%20Power%20systems 64KB pages on Linux for Power systems (IBMサイト)~~]		[https://www.ibm.com/support/knowledgecenter/ssw_aix_72/performance/multiple_page_size_support.html Multiple page size support]

	~~x86-64(Intel 64)アーキテクチャー[の場合2MBと1GBの拡大したページサイズが使えます。~~

	[https://software.intel.com/sites/default/files/managed/a4/60/325384-sdm-vol-3abcd.pdf ~~Intel®~~ 64 and IA-32 Architectures		x86-64(Intel 64)アーキテクチャーの場合2MBと1GBの拡大したページサイズが使えます。

			[https://software.intel.com/sites/default/files/managed/a4/60/325384-sdm-vol-3abcd.pdf Intel 64 and IA-32 Architectures
	Software Developer’s Manual]		Software Developer’s Manual]

Hironobu: /* ページ */

2020-11-05T17:46:20Z

ページ

← 古い版		2020年11月5日 (木) 17:46時点における版
32行目:		32行目:

	この書き込みや読み込みをする単位をページと呼びます。扱えるページのサイズはCPU依存		この書き込みや読み込みをする単位をページと呼びます。扱えるページのサイズはCPU依存
	<ref>これらはCPUのアーキテクチャーに依存するので異なる場合があります。例えばIBM POWER5+ や POWER6 プロセッサーは64KBのページサイズも利用することが出来ます。		<ref>
			これらはCPUのアーキテクチャーに依存するので異なる場合があります。例えばIBM POWER5+ や POWER6 プロセッサーは64KBのページサイズも利用することが出来ます。

	[https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/Welcome%20to%20High%20Performance%20Computing%20%28HPC%29%20Central/page/64KB%20pages%20on%20Linux%20for%20Power%20systems 64KB pages on Linux for Power systems (IBMサイト)]		[https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/Welcome%20to%20High%20Performance%20Computing%20%28HPC%29%20Central/page/64KB%20pages%20on%20Linux%20for%20Power%20systems 64KB pages on Linux for Power systems (IBMサイト)]

	x86-64(Intel 64)アーキテクチャー[の場合2MBと1GBの拡大したページサイズが使えます。		x86-64(Intel 64)アーキテクチャー[の場合2MBと1GBの拡大したページサイズが使えます。

	[https://software.intel.com/sites/default/files/managed/a4/60/325384-sdm-vol-3abcd.pdf Intel® 64 and IA-32 Architectures		[https://software.intel.com/sites/default/files/managed/a4/60/325384-sdm-vol-3abcd.pdf Intel® 64 and IA-32 Architectures
	Software Developer’s Manual]		Software Developer’s Manual]

	</ref>		</ref>
	ですが、多くのCPUの最小ページサイズが4KBなのでLinuxのページサイズはデフォルトで4KBとなっています。		ですが、多くのCPUの最小ページサイズが4KBなのでLinuxのページサイズはデフォルトで4KBとなっています。

Hironobu: /* ページ */

2020-11-05T17:43:46Z

ページ

← 古い版		2020年11月5日 (木) 17:43時点における版
31行目:		31行目:


	この書き込みや読み込みをする単位をページといい、サイズは32ビットアーキテクチャーのCPUは4KBのページサイズで、64ビットアーキテクチャーのCPUは8KBのものがほとんどです。<ref>これらはCPUのアーキテクチャーに依存するので異なる場合があります。例えばIBM POWER5+ や POWER6 プロセッサーは64KBのページサイズも利用することが出来ます。		この書き込みや読み込みをする単位をページと呼びます。扱えるページのサイズはCPU依存
			<ref>これらはCPUのアーキテクチャーに依存するので異なる場合があります。例えばIBM POWER5+ や POWER6 プロセッサーは64KBのページサイズも利用することが出来ます。
	[https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/Welcome%20to%20High%20Performance%20Computing%20%28HPC%29%20Central/page/64KB%20pages%20on%20Linux%20for%20Power%20systems 64KB pages on Linux for Power systems (IBMサイト)]		[https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/Welcome%20to%20High%20Performance%20Computing%20%28HPC%29%20Central/page/64KB%20pages%20on%20Linux%20for%20Power%20systems 64KB pages on Linux for Power systems (IBMサイト)]

			x86-64(Intel 64)アーキテクチャー[の場合2MBと1GBの拡大したページサイズが使えます。
			[https://software.intel.com/sites/default/files/managed/a4/60/325384-sdm-vol-3abcd.pdf Intel® 64 and IA-32 Architectures
			Software Developer’s Manual]
	</ref>		</ref>
			ですが、多くのCPUの最小ページサイズが4KBなのでLinuxのページサイズはデフォルトで4KBとなっています。

	==== MMU ====		==== MMU ====

Hironobu: /* 実メモリ */

2020-02-17T04:41:26Z

実メモリ

← 古い版		2020年2月17日 (月) 04:41時点における版
8行目:		8行目:
	タが展開されていて、それに対し正しいアクセス制御できなければシステムは		タが展開されていて、それに対し正しいアクセス制御できなければシステムは
	正常に動かなくなってしまいます。		正常に動かなくなってしまいます。


			実メモリはいうまでもなく限定された貴重な資源です。実メモリはプログラムが使うだけでなく、I/Oのキャッシュに使ってI/Oパフォーマンスを改善することにも使います。
			もしプログラムの中で既にアクセスされないメモリ空間を実メモリにかかえていていて、実メモリをキャッシュに使えないような場合は、せっかくの実メモリが有効に使えていない状態になってしまいます。
			そこでプログラムが抱えたまま使っていないメモリ空間を外部記憶装置に送り出し、その分の実メモリをI/Oのキャッシュに利用するならば、全体のパフォーマンスが向上するはずです。このようにプログラムに使うメモリ空間を管理するだけでなくシステム全体を通して実メモリを有効に使うことが重要になります。