KVMメモ
このページは、kvmをlibvirt(virsh)で使いたい人向けのメモです。簡単に使いたい人は、virt-managerを使ってください。
準備
Fedora/CentOS
kvmを利用するのに、libvirtを利用します。libvirtをインストールしておきます。virt-managerをインストールすると必要なパッケージが一通り入って便利です。また、kvmで仮想マシンを実行するのに必要なqemu-kvmもインストールしておきます。
# yum install virt-manager # yum install qemu-kvm
次に、kvmのモジュールをカーネルにロードします。AMDの場合は、kvm_intelの代わりにkvm_amdを使ってください。
# modprobe kvm # modprobe kvm_intel
libvirtを利用するには、libvirtdの起動が必要です。libvirtdを起動しておきます。
# /etc/init.d/libvirtd start
その他、下記のパッケージを入れておくとよいかもしれません。
# yum install virt-top # yum install qemu-kvm-tools
CentOS6.4を利用する場合、下記のフォルダにあるqemu-kvm-rhev(RHEV用のパッケージ)を利用するとよいです。スナップショットなどの標準のqemuでは利用できない機能が利用できます。
Ubuntu
# apt-get install qemu-kvm virt-manager # apt-get install virt-top
Ubuntu 12.04 LTSのqemu/libvirtの最新パッケージは、Ubuntu Cloud Archiveにあります。 /etc/apt/source.listに下記のapt-lineを追加してqemu/libvirt-binパッケージをインストールしてください。
deb http://ubuntu-cloud.archive.canonical.com/ubuntu precise-updates/havana main
virshを利用したKVM仮想マシンの作り方
イメージ作成
# qemu-img create -f raw ubuntu.img 10G
libvirt XMLファイルの作成方法
下記のXMLを適当に編集。特に、
- name(他の仮想マシンとユニークな名前になるように)
- memory(メモリ容量)
- vcpu(CPUの数)
- diskとcdromのsource file
- acpiを有効にしないと、virshからshutdownコマンドでシャットダウンできない。
- mac addressを他と被らないように
辺りに注意しておく。下記は、Fedora13の例。
<domain type='kvm' id='3'> <name>UbuntuVM</name> <memory>524288</memory> <currentMemory>524288</currentMemory> <vcpu>1</vcpu> <os> <type arch='x86_64' machine='pc'>hvm</type> <boot dev='hd'/> <boot dev='cdrom'/> </os> <features> <acpi /> </features> <clock offset='utc'/> <devices> <emulator>/usr/bin/qemu-kvm</emulator> <!-- DISKの定義 --> <disk type='file' device='disk'> <driver name='qemu' type='raw'io='native'/> <source file='/mnt/sda5/ubuntu.img'/> <target dev='hda' bus='ide'/> </disk> <!-- CDROMの定義 --> <disk type='file' device='cdrom'> <driver name='qemu'/> <source file='/mnt/sda5/iso/ubuntu-ja-10.04-desktop-i386-20100512.iso'/> <target dev='hdc' bus='ide'/> <readonly/> </disk> <!-- ネットワークインタフェースの定義 --> <interface type='network'> <mac address='52:54:00:1d:18:5e'/> <source network='default'/> <target dev='vnet0'/> </interface> <input type='mouse' bus='ps2'/> <graphics type='vnc' port='5902' keymap='ja'/> </devices> </domain>
Ubuntuの場合は、typeタグのmachineをpcなどにする。
... <type arch='x86-64' machine='pc'>hvm</type> ...
virshに登録して起動
# virsh (virsh実行。以下、virshのコンソールで実行) virsh # define virt-kvm.xml
defineで仮想マシンを定義したXMLを登録すると、/etc/libvirt/qemuディレクトリにDomain名のファイルで定義ファイルが作られる。
# ls /etc/libvirt/qemu UbuntuVM.xml networks
起動と起動状態の確認は、次の通りです。
virsh # start UbuntuVM virsh # list Id 名前 状態 ---------------------------------- 1 UbuntuVM 実行中
VNCクライアントのスクリーン1で接続可能(vnc://localhost:1)です。vncのポートなどは、次の行で設定します。
<graphics type='vnc' port='5902' keymap='ja'/>
デフォルトでは、仮想マシンを起動したホスト以外からのVNCクライアントの接続を受け付けないようになっています。ホストマシンとは別のマシンからvncで接続するには、/etc/libvirt/qemu.confに次の設定を追加します。
vnc_listen = "0.0.0.0"
Windowsでvncを利用する場合カーソルがずれます。inputデバイスの設定を次のように変更してください。
<!-- <input type='mouse' bus='ps2'/>--> <input type='tablet' bus='usb'/>
停止はshutdownを使います。
virsh # shutdown UbuntuVM
acpiが有効になっていないと、virshからのシャットダウンを受け付けないので注意してください。また、linuxの場合、acpidをインストール/起動しておく必要があります。ubuntu serverの場合デフォルトではインストールされないので、
# apt-get install acpid
としてacpidをインストールします。
ハイバネートとレジューム
virsh # save UbuntuVM UbuntuVM.mem virsh # restore UbuntuVM UbuntuVM.mem
Windows利用時に注意
libvirt xmlを記述するときの注意
- clock offsetをlocaltimeにしないと時間がずれます。
- acpiを有効にしないと、Windows7以降でインストールできません。
- inputデバイスをtabletにしないと、VNCで接続したときにカーソルの動きが変になります。
Windowsゲストドライバ
Windowsゲストドライバを利用すると、ネットワークI/OやディスクI/Oが速くなります。 ゲストドライバの取得とインストール方法は下記のURLを参照。
ネットワーク接続
ルーティングして接続
仮想マシンのIPアドレスから、ホストOSのNICにルーティングして接続します。
- ゲスト側のネットワークを適当設定(例えば192.168.100.2,GWを192.168.100.1)。ネットワークセグメントはホストと別にする。
- ホスト側のネットワークを設定する。
# ifconfig vnet0 192.168.100.1 netmask 255.255.255.0
IPフォワードの設定をしていなければ、IPフォワードの設定を行う。
# echo 1 > /proc/sys/net/ipv4/ip_forward
図で説明すると、上記の設定で次のようなネットワークが構築できる。
eth0:10.9.123.3 +--------------+ +---------------+ +--+-+ +-+---+ +--+-+ | LAN---|eth0| ホストOS |vnet0|-----|eth0| 仮想マシン | +--+-+ +-+---+ +--+-+ | +--------------+ +---------------+ vnet0:192.168.100.1 eth0:192.168.100.2
NATによるLAN上のIPからの接続
プライベートIPをeth0に割り振り、NATで接続します。
eth0:10.8.99.6,10.8.99.7(NATで192.168.100.2に接続) +--------------+ +---------------+ +--+-+ +-+---+ +--+-+ | LAN---|eth0| ホストOS |vnet0|-----|eth0| 仮想マシン | +--+-+ +-+---+ +--+-+ | +--------------+ +---------------+ vnet0:192.168.100.1 eth0:192.168.100.2
- eth0に10.8.99.6でアクセスするとホストOSに接続。
- eth0に10.8.99.7でアクセスすると仮想マシン(192.168.100.2)に接続。
するように設定してみる。普通にeth0に10.8.99.6を設定しておく。 次に10.8.99.7へのアクセスを192.168.100.2に転送するNAT用のnat.iptファイルを用意する。
*nat :PREROUTING ACCEPT [5318:237514] :POSTROUTING ACCEPT [162:9112] :OUTPUT ACCEPT [14132:847744] -A PREROUTING -d 10.8.99.7 -j DNAT --to-destination 192.168.100.2 -A POSTROUTING -d 192.168.100.0/255.255.255.0 -j MASQUERADE -A POSTROUTING -s 192.168.100.2 -j SNAT --to-source 10.8.99.7 -A OUTPUT -d 10.8.99.7 -j DNAT --to-destination 192.168.100.2 COMMIT
NATを読み込む。
# cat nat.ipt | iptables-restore
eth0に10.8.99.7を割り振らないとLAN上のマシンからアクセスできないので、ipコマンドでNICにIPを割り振っておきます。
# ip addr add 10.8.99.7 dev eth0
ブリッジによるホストのNICと同じセグメントへの設定
ホストIPアドレスが192.168.1.5で、仮想マシンのIPアドレスを192.168.1.6のようにホストのNICと同じセグメントのネットワークに仮想マシンを所属させたい場合は、ブリッジを利用します。
virbr0:192.168.1.5 +--------------+ +---------------+ | +-virbr0+ + | | |+-+---+| +--+-+ | | ホストOS ||vnet0||-----|eth0| 仮想マシン | | |+-+---+| +--+-+ | | | + | | | | |+-+---+| | | | ||eth0 || | | | |+-+--++| | | | +-----|-+ | | +--------------+ | +---------------+ | eth0:192.168.1.6 LAN
※ブリッジを使うのでvnet0とeth0にはIPは振りません。 まず、/etc/network/interfacesに次のように記述し、ブリッジを有効にする。
auto virbr0 iface virbr0 inet static address 192.168.1.5 netmask 255.255.255.0 network 192.168.1.0 broadcast 192.168.1.255 gateway 192.168.1.1 bridge_ports eth0
eth0を無効にし、ブリッジを有効にする。
# ifdown eth0 # ifup virbr0
libvirt.xmlのinterface定義にブリッジに含めるように定義
<interface type='bridge'> <source bridge='virbr0' /> <mac address='02:00:00:21:11:01'/> <target dev='vnet0' /> </interface>
仮想マシンを起動すると、ブリッジに含まれた形で起動してくる。
# brctl show bridge name bridge id STP enabled interfaces virbr0 8000.0016d32ff458 no eth0 vnet0
下記のようにすると、interfacesに書くことなくテストすることができる。
# brctl addbr virbr0 # brctl addif virbr0 eth0 # ifconfig virbr0 192.168.1.5 netmask 255.255.255.0
あとは、仮想マシン側のeth0でifconfigでIPアドレスを指定するなどすればok。
ポートフォワードによる仮想マシンIPを利用したルートコンソールの接続
仮想マシンのIPでVNCに接続すると、ブレードサーバのOAのようにルートコンソールが取得できると嬉しくありませんか? ポートフォワードを使うと実現することができます。
例えば、ゲストOSの5900番(VNCのデフォルトポート)をホストOS上の仮想マシンのコンソールのポートに転送するようにすれば、VNCで仮想マシンに接続するとルートコンソールが取れるようになります。
*nat :PREROUTING ACCEPT [5318:237514] :POSTROUTING ACCEPT [162:9112] :OUTPUT ACCEPT [14132:847744] -A PREROUTING -d 10.8.99.7 -p tcp --dport 5900 -j DNAT --to-destination 10.8.99.6:5900 -A PREROUTING -d 10.8.99.7 -j DNAT --to-destination 192.168.100.2 -A POSTROUTING -d ! 192.168.100.0/255.255.255.0 -j MASQUERADE -A POSTROUTING -s 192.168.100.2 -j SNAT --to-source 10.8.99.7 -A OUTPUT -d 10.8.99.7 -j DNAT --to-destination 192.168.100.2 COMMIT
DHCPでIPを付与
DHCPでIPを付与するようにするには、/var/lib/libvirt/network/default.xmlを次のように編集します。
<network> <name>default</name> <uuid>631f86c8-5469-468a-a361-3a91d4b99a35</uuid> <forward mode='nat'/> <bridge name='virbr0' stp='on' delay='0' /> <ip address='192.168.122.1' netmask='255.255.255.0'> <dhcp> <range start='192.168.122.100' end='192.168.122.254' /> <host mac='52:54:00:1d:18:5e' name='foo.com' ip='192.168.122.28' /> </dhcp> </ip> </network>
上記のネットワーク設定ファイルを再設定して、ネットワークを再起動(net-destroy,net-start)します。
virsh # net-define /var/lib/libvirt/network/default.xml ネットワーク default が /var/lib/libvirt/network/default.xml から定義されました virsh # net-destroy default ネットワーク default は停止されました virsh # net-start default ネットワーク default が起動されました
メモリバルーンニング
メモリバルーニングは、仮想マシンのメモリを動的に増減させます。setmemコマンドで、メモリを変更できます。
ゲスト
$ free total used free shared buffers cached Mem: 485656 229632 256024 0 49528 81960 -/+ buffers/cache: 98144 387512 Swap: 524284 58200 466084
この状態で、ホスト上で下記のコマンドを実行してみます。
ホスト
# virsh setmem DOMNAME 1000000
ゲスト上でfreeを実行すると、メモリが増えているのが分かります。
ゲスト
$ free total used free shared buffers cached Mem: 973656 229792 743864 0 49532 81984 -/+ buffers/cache: 98276 875380 Swap: 524284 58200 466084
メモリを減らすこともできます。
libvirtから仮想マシンへのルートログイン
libvirtでは、仮想マシンの実際に利用しているメモリなど、細かい情報が取れません。シリアルコンソールでルートログインできるように設定しておくと、ホストOSから状態の監視に使えます。
※言うまでもないことですが、仮想マシンのユーザがルートコンソールを管理者に取られるのが嫌な場合は、この方法は利用しないでください。
まず、libvirtのXMLファイルを定義して、ゲストのシリアルコンソールを有効にします。
... <serial type='pty'> <target port='0' /> </serial> <console type='pty'> <target port='0' /> </console> </devices>
ゲスト側の設定
grub.cfgを設定
/boot/grub/grub.cfgに下記のようにシリアルコンソールの設定(console...115200n8を追加)
linux /boot/vmlinuz-3.2.0-40-generic \ root=UUID=187b5cde-ed09-4d02-93c3-9c2fc162a97d ro quiet\ console=tty0 console=ttyS0,115200n8
パスワードなしでシリアルログインできるように設定
mingettyをインストール
# apt-get install mingetty
/etc/init/ttyS0.confに下記のように設定
start on stopped rc RUNLEVEL=[2345] and ( not-container or container CONTAINER=lxc or container CONTAINER=lxc-libvirt) stop on runlevel [!2345] respawn exec /sbin/mingetty --autologin root ttyS0
ホスト側から接続
ゲストを再起動すると、ホスト側から
$ virsh DOMAINNAME console
でルートログインできる。
ネットワーク帯域制限
ネットワークインタフェース定義の部分で、bandwidthを定義すれば、帯域制限をかけることができる。単位はaverage/peakはkbyte/s。burstはkbyte。
<interface type='...'> ... <model type='virtio' /> <bandwidth> <inbound average='128' peak='256' burst='256'/> <outbound average='128' peak='256' burst='256'/> </bandwidth>
Ubuntuだと、kernel 3.5.0にしないと動作しない。RHEL6などでは多分利用できない。
QMP
KVM(というかqemu)には、ハイパーバイザからVMのイベントや情報を取得するQMP(Qemu Messaging Protocol)が提供されています。QMPを利用することにより、様々な情報を取得することができます。下記は利用例です。
# virsh qemu-monitor-command DOMNAME '{"execute":"query-blockstats"}' |python -mjson.tool { "id": "libvirt-27", "return": [ { "device": "drive-virtio-disk0", "parent": { "stats": { "flush_operations": 0, "flush_total_time_ns": 0, "rd_bytes": 0, "rd_operations": 0, "rd_total_time_ns": 0, "wr_bytes": 0, "wr_highest_offset": 3860278784, "wr_operations": 0, "wr_total_time_ns": 0 } }, "stats": { "flush_operations": 0, "flush_total_time_ns": 0, "rd_bytes": 163434496, "rd_operations": 9976, "rd_total_time_ns": 8262845363, "wr_bytes": 13394944, "wr_highest_offset": 10235260416, "wr_operations": 1439, "wr_total_time_ns": 147967748900 } }, { "device": "drive-ide0-1-0", "parent": { "stats": { "flush_operations": 0, "flush_total_time_ns": 0, "rd_bytes": 0, "rd_operations": 0, "rd_total_time_ns": 0, "wr_bytes": 0, "wr_highest_offset": 0, "wr_operations": 0, "wr_total_time_ns": 0 } }, "stats": { "flush_operations": 0, "flush_total_time_ns": 0, "rd_bytes": 49218, "rd_operations": 15, "rd_total_time_ns": 1671233, "wr_bytes": 0, "wr_highest_offset": 0, "wr_operations": 0, "wr_total_time_ns": 0 } } ] }
QMPについては、あまりドキュメントが整備されていません。QMPの詳細は、下記のスキーマに記載されています
ログメッセージの出力
libvirtdのデバッグログを出力するには、/etc/libvirt/libvirtd.confに下記の記述を追加し、libvirtdを再起動する。
log_level = 1 log_outputs="1:file:/var/log/libvirt/libvirtd.log"
リソース取得
下記のvirt-xxxコマンドにより、CPU、メモリ、ディスクのリソースを取得することができます。
コマンド | 説明 |
virt-top | 仮想マシンのCPU使用率、メモリの使用率を表示 |
virt-df | 仮想マシンのディスクの使用量を表示(Ubuntuではlibguestfs-toolsパッケージを利用) |
virt-dmesg | ??? |
KVMのもうちょっと高度な使い方
そのうち書く予定
- リソースの取得方法
- iscsiのDISKから起動
- ライブマイグレーション
- block migration
- pythonからの操作