pengembangan-web-mp-pd.com

Menjalankan 100 mesin virtual pada satu server VMWare Host

Saya telah menggunakan VMWare selama bertahun-tahun, menjalankan puluhan server produksi dengan sangat sedikit masalah. Tetapi saya tidak pernah mencoba hosting lebih dari 20 VM pada satu Host fisik. Inilah idenya:

  1. Versi Windows XP dapat dilucuti dapat hidup dengan 512MB RAM dan ruang disk 4GB).
  2. $ 5.000 memberi saya mesin kelas server 8-inti dengan 64GB RAM dan empat SAS mirror.
  3. Karena 100 VM yang disebutkan di atas cocok dengan server ini, biaya perangkat keras saya hanya $ 50 per VM yang super bagus (lebih murah daripada menyewa VM di GoDaddy atau toko hosting lainnya).

Saya ingin melihat apakah ada yang bisa mencapai skalabilitas semacam ini dengan VMWare? Saya telah melakukan beberapa tes dan menabrak masalah aneh. Kinerja VM mulai menurun secara dramatis setelah Anda memulai 20 VM. Pada saat yang sama, server Host tidak menunjukkan hambatan sumber daya apa pun (disknya 99% idle, penggunaan CPU di bawah 15% dan ada banyak RAM gratis).

Saya akan menghargai jika Anda dapat membagikan kisah sukses Anda seputar peningkatan VMWare atau teknologi virtualisasi lainnya!

24
Dennis Kashkin

Ya kamu bisa. Bahkan untuk beberapa beban kerja Windows 2003 hanya 384MiB sudah mencukupi, jadi 512MiB adalah estimasi yang cukup bagus, baik itu sedikit tinggi. RAM seharusnya tidak menjadi masalah, CPU juga tidak seharusnya.

A 100 VMs agak curam, tetapi itu bisa dilakukan, terutama jika VMs tidak akan menjadi sangat sibuk. Kami dengan mudah menjalankan 60 server (Windows 2003 dan RHEL) pada satu server ESX.

Dengan asumsi Anda berbicara tentang VMware ESX, Anda juga harus tahu bahwa ini dapat membuat overcommit memori. VM hampir tidak pernah menggunakan jatah memori yang ditunjuk penuh mereka, sehingga ESX dapat melakukan lebih dari jumlah yang tersedia RAM ke VMs dan menjalankan lebih banyak VM daripada yang sebenarnya 'secara resmi' memiliki RAM untuk.

Kemungkinan besar bottlenech Anda bukan CPU atau RAM, tetapi IO. VMware membanggakan sejumlah besar IOPS dalam pemasaran mereka, tetapi ketika Push datang untuk mendorong, konflik reservasi SCSI dan bandwidth terbatas akan menghentikan Anda sebelum Anda akan mendekati IOPS tentang VMware yang menyombongkan diri.

Bagaimanapun, kami tidak mengalami penurunan kinerja 20 VM. Versi ESX apa yang Anda gunakan?

15
wzzrd

Satu masalah besar dengan lingkungan besar seperti itu adalah pencegahan bencana dan perlindungan data. Jika server mati, maka 100 VM mati bersamanya.

Anda perlu merencanakan beberapa jenis kegagalan VM, dan merencanakan semacam manajemen "ekstra-VM" yang akan melindungi VM Anda jika terjadi kegagalan. Tentu saja, jenis redundansi ini berarti peningkatan biaya - yang mungkin mengapa pengeluaran seperti itu tidak disetujui sampai setelah manfaatnya terlihat dalam praktik (dengan tidak adanya).

Ingat juga, bahwa Host VM hanya satu dari beberapa titik kegagalan:

  • Jaringan - bagaimana jika kartu jaringan Host VM Host turun?
  • Memori - bagaimana jika sepotong VM Memori host memburuk?
  • CPU - jika inti CPU mati, lalu apa yang terjadi pada VM?
  • Daya - apakah hanya ada satu atau dua kabel daya?
  • Port manajemen - misalkan Anda tidak dapat mengakses manajemen Host VM?

Ini hanya beberapa: infrastruktur besar VM membutuhkan perhatian yang cermat untuk pencegahan kehilangan data dan pencegahan VM kehilangan.

11
Mei

Tidak ada pernyataan tentang kelayakan produksi ini, tetapi ada demo NetApp yang sangat menarik di mana mereka menyediakan 5440 XP desktop pada 32 host ESX (yaitu 170 per Host) dalam waktu sekitar 30 menit menggunakan sangat sedikit ruang disk karena deduplikasi terhadap gambar VM umum)

http://www.youtube.com/watch?v=ekoiJX8ye38

Dugaan saya adalah keterbatasan Anda berasal dari subsistem disk. Anda tampaknya telah memperhitungkan penggunaan memori dan CPU yang sesuai.

4
Kevin Kuphal

Tidak pernah melakukannya - tapi saya berjanji Anda akan menghabiskan lebih dari pada penyimpanan untuk mendapatkan cukup TIO untuk mendukung banyak VM daripada yang Anda lakukan pada perangkat keras server. Anda akan membutuhkan banyak TIO jika 100 dari mereka aktif pada saat yang sama. Tidak terdengar negatif tetapi apakah Anda juga menganggap Anda meletakkan banyak telur dalam satu keranjang (sepertinya Anda mencari solusi server tunggal?)

3
Jeff Hengesbach

Saya akan paling khawatir tentang pertikaian CPU dengan 100 VM pada satu Host. Anda harus ingat bahwa prosesor TIDAK divirtualisasi sehingga setiap mesin harus menunggu akses ke cpu. Anda dapat mulai melihat pertikaian dengan melihat ESXTOP saya telah diberi tahu lebih dari 5 di bidang% RDY yang sangat buruk oleh VMWare Engineers.

Dalam pengalaman saya, saya telah melihat sekitar 30-40 server berjalan pada satu Host (tidak melakukan terlalu banyak).

1
Zypher

Saya memiliki 10 Host di VMWare Server 1.0.6 (di bawah Windows 2003) dan itu akan mengalami IO masalah secara teratur (dan jika nightly build pernah tumpang tindih dengan sesuatu yang lain, maka mereka akan memiliki masalah). Setelah memutakhirkan dari Windows ke ESXi U3, kami menemukan bahwa masalah kinerja kami hilang (build malam tidak lagi gagal).

Perhatikan juga bahwa walaupun SSD memiliki tingkat IO jauh lebih tinggi daripada media pemintalan, ada beberapa kasus di mana hal itu tidak berlaku, seperti jenis pola tulis tertentu (banyak tulisan kecil yang tersebar di seluruh drive akan mematikan kinerja kecuali controller memiliki cache buffering tulis pintar yang berfungsi dengan baik pada scatter write).

Saya akan merekomendasikan menyelidiki/menguji memiliki file SWAP pada drive yang berbeda jika Anda mengalami masalah.

1
Walter

Jika Anda akan melakukan itu maka saya akan sangat menyarankan Anda untuk menggunakan prosesor seri Intel 'Nehalem' Xeon 55xx baru - mereka dirancang untuk menjalankan VM dan bandwidth memori ekstra mereka akan sangat membantu juga. Oh dan jika Anda dapat menggunakan lebih banyak, disk lebih kecil dari sedikit, disk besar - itu akan banyak membantu. Jika Anda dapat menggunakan ESX v4 lebih dari 3.5U4 juga.

1
Chopper3

Saya memiliki 20 sesuatu XP VM berjalan dengan 512M ram masing-masing pada mesin dengan 16G ram. Kurang dari ini dan mereka bertukar ke disk dan itu memberikan hambatan. Ini selalu aktif XP VM.

VMware dan fitur OverCommitnya memungkinkan Anda untuk mendorong lebih banyak ram ke setiap mesin XP. Mesin serupa akan berbagi halaman yang sama sehingga dapat mengurangi penulisan disk. Ini adalah sesuatu yang saya ingin lihat pada pengaturan kami untuk mencoba menambahkan lebih banyak mesin seperti XP kami VMs melakukan 10-20meg lalu lintas disk yang berkelanjutan.

1
Ryaner

Kami tidak dapat mencapai 100 tamu bahagia di VMWare Server, tetapi kemudian menemukan bahwa ESXi melakukan pekerjaan yang jauh lebih baik. Jadi, nampaknya 100 XP vms bukan masalah jika Anda menggunakan ESXi dan server yang layak (beberapa mirror mirror untuk menyebarkan I/O, beberapa chip I7 dan 64GB RAM) Tidak ada penundaan yang terlihat bagi pengguna akhir dan sumber daya Host tidak maksimal (yang terpanas adalah CPU tetapi biasanya setidaknya 70% tidak digunakan).

PS. Pertanyaan ini diposting oleh saya kembali ketika kami berjuang dengan VMWare Server.

1
Dennis Kashkin

Terakhir kali saya memeriksa, VMware merekomendasikan tidak lebih dari 4 VM per inti pemrosesan untuk ESX, dengan asumsi satu vCPU per VM.

Ini menunjukkan overhead manajemen menjadi faktor.

Saya sangat tertarik untuk melihat apakah Anda benar-benar dapat mencapai faktor 4x pada kotak 8 inti.

0
Hans Malherbe