Linux SAN iSCSI 1Gbps

Technical topics
1

ถ้า vps เริ่มเจอปัญหา IO นอกจากทางเลือกการใช้เทคนิคแคชทั้งหลายแล้ว
ไปเลือกใช้ SAN แบบประหยัดโดยใช้ server วิ่งบน iSCSI 1Gbps มันจะไหวไหมครับนี่ หรือต้องเป็น 10Gbps , Fibre

แล้ว cloud หลายๆเจ้ามีใครใช้ iSCSI 1Gbps บ้างไหมครับ

2

มันมีหลายอย่างครับ

  1. อัตรา Data transfer Rate ซึ่ง HDD SATA เดี๋ยวนี้ก็ประมาณ 80-100 MB/s ถ้า SAS และ/หรือ ทำ RAID ก็ได้เกินกว่านั้น
    แต่ iSCSI 1Gbps ได้ความเร็วไม่เกิน 125MB/s ครับ

  2. พวก access time ก็ต้องที่ระบบ Disk อย่างเดียวแล้วครับ

ส่วนจะใช้ไหวไหม ก็น่าจะขึ้นอยู่กับ load ที่จะเกิดขึ้นครับ
ของที่ใช้งานทั่วไปก็ยังไม่เห็นมันเคยแตะ 1Gbps เลยครับ จะถึงก็ตอน copy ไฟล์ใหญ่จาก SAN ออกมาครับ

ปล. ใช้ 2Gbps อยู่ครับ

3

sheepdog ครับ :3 แต่เหนื่อย ล่าสุดก็เพิ่ง crash ยก cluster ไปอีกรอบ (recover เสร็จใน 2 hrs)

4

เพราะว่าอะไรเหรอครับ

5

ใช้งาน i/o พิสดารไปนิดนึง sheep มันเลยเข้าใจว่า disk ค้าง มันเลยตัดตัวเองออกจาก cluster แล้ว rejoin ใหม่พร้อมกับดึงตัวเองขึ้นเป็น cluster master
epoch version มันก็เลยไม่ตรงกัน ต้อง kill ทิ้งไป 2 node (จาก 4) แล้ว resync ใหม่

6

แล้วเครื่อง iscsi server จะใช้ disk อะไรอะครับ

7

SATA riad 10 ครับ

8

ถ้าจะทำ san จริง… flashcache คุ้มกว่าครับ

9

ตระกูล hybrid (HDD + SSD) เป็นอะไรที่ผมสนใจมาก. แต่ผมยังไม่มั่นใจในขา write ของมัน. (ยังกังวลว่ามัน read เร็วแต่ write ช้า)

เครือ่ง vps ล่าสุดผมเอา SSD ต่อ ห้าลูก ทำ raid5 วิ่งผ่าน card. ยังไม่ได้เทสแต่ i/o น่าจะเยอะอยู่

แต่ SSD ดี raid ต้นทุนสูงมาก ไม่ไหวขอลองดูเครื่องเดียวก่อน กลัวโรค ทรัพย์จางถามหา

10

ใช้ flashcache mode writeback จะเขียนได้เร็วมากครับ เพราะมันเขียนลง ssd ไปก่อน แล้ว hdd ว่างงานเมื่อไหร่ค่อยๆ ทยอยเขียนกลับ (writeback) จาก ssd ลง hdd อีกทีนึง

แต่ถ้า ssd พังก็ข้อมูลพัง

11

คนใช้ esxi จะอิจฉา คนใช้ openvz ก็ตรง flashcache นี่แหละครับ.

esxi มันจะไม่พัฒนาออกมา (ที่ทำออกมาใน v 5.0 - 5.1 ที่อ่านมาก็ยังไม่ work)

ตอนแรกไปดู raid card ที่เป็น hybrid raid ไม่มีตัวไหนทำงานแบบที่ flashcache ทำได้. ยังไม่มีรุ่นทำงานแบบ writeback ได้เลย ทุกรุ่น (เท่าที่ผมรู้) จะเป็นแบบที่ต้องเขียนให้เสร็จทั้งฝั่ง harddisk และ ssd ก่อนจึงจะถือว่าสมบูรณ์ ดูแล้วไม่ work และไม่ช่วยเรื่อง i/o มากนั้น (เมื่อเทียบกับราคา card)

ตอนนี้ flashcache (writeback) + openvz ถือเป็น solution ที่ work ที่สุด

12

ใช้ Gbps เป็น back-end ใน SAN อยู่ครับ แต่ทำ bonding ไม่เคยเห็นวิ่งเต็มเลย ระบบ disk ข้างหลังชุดนึงเป็น SAS RAID-10 8 ลูก อีกชุดเป็น SATA RAID-10 12 ลูก และชุดล่าสุดเป็น LSI Cachecade SSD + SATA 12 ลูก (SAN ทุกตัว ก็จะมีคู่ของมัน)

สรุป Gbps มา bond กันเหลือเฟือครับ

แต่เนื่องจากลูกค้าเกือบทั้งหมดของผมเป็นบริษัท ไม่ได้ใช้ io โหดร้าย เลยนิ่งสบายมาก