Google Cloud Managed Lustre מציע רמות ביצועים שונות כדי לעמוד בדרישות הספציפיות של עומס העבודה והתקציב שלכם. אתם יכולים לבחור רמה שמספקת ביצועים יציבים וצפויים לכל מערכת הקבצים, או רמה דינמית שמבצעת אופטימיזציה אוטומטית של עלויות האחסון עבור מערכי נתונים גדולים שחלק מהם פעילים.
החבילות הזמינות
בטבלה הבאה מפורטים רמות הביצועים שזמינות ב-Managed Lustre.
| רמה | קיבולת מינימלית | קיבולת מקסימלית | גודל השלב |
|---|---|---|---|
| 1,000 MBps לכל TiB | 9,000 GiB | 10,008,000 GiB (9.5 PiB) | לנפחי אחסון של עד 2,556,000 GiB: 9,000 GiB לנפחי אחסון גדולים יותר: 72,000 GiB |
| 500MBps לכל TiB | 18,000 GiB | 20,016,000 GiB (19.1 PiB) | לנפח אחסון של עד 5,112,000 GiB: 18,000 GiB לנפח אחסון גדול יותר: 144,000 GiB |
| 250 MBps לכל TiB | 36,000 GiB | 40,032,000 GiB (38.2 PiB) | לנפחי אחסון של עד 10,224,000 GiB: 36,000 GiB לנפחי אחסון גדולים יותר: 288,000 GiB |
| 125MBps לכל TiB | 72,000 GiB | 20,448,000 GiB (19.5 PiB) | 72,000 GiB |
| דינמי (25 MBps לכל TiB) | 472,000 GiB | 84,016,000 GiB (80.1 PiB) | 472,000 GiB |
גודל השלב משתנה כשגודל המופע מגיע לסף מסוים.
אפשר להגדיל את נפח האחסון של מופע אחרי שהוא נוצר, עד הערך המקסימלי שמותר לדרגת הביצועים ולגודל השלב שלו. אם יוצרים מכונה וירטואלית בטווח של גודל השלב הקטן יותר לרמה שלה, אי אפשר להגדיל אותה מאוחר יותר מעבר לסף של גודל השלב. פרטים נוספים זמינים במאמר בנושא מגבלות על הגדלת הקיבולת.
רמות ממוספרות
המינויים מחולקים לרמות ממוספרות, ומספקים ביצועים עקביים ומהירים. הרמות האלה מתאימות לעומסי עבודה שדורשים תפוקה גבוהה וזמן אחזור נמוך לכל גישה לנתונים.
כשיוצרים את המופע, בוחרים רמת ביצועים ספציפית, וקצב העברת הנתונים הזה נשמר באופן עקבי לכל מערכת הקבצים. הביצועים משתפרים באופן ליניארי עם כמות האחסון שמקצים. בנוסף לתפוקה הגולמית, גם הביצועים של IOPS והמטא נתונים גדלים בהתאם לקיבולת ולתפוקה שהוקצו למופע.
- 1,000MBps לכל TiB: מומלץ לעומסי עבודה עם ביצועים גבוהים ולאימון של AI/ML, שבהם התפוקה היא קריטית.
- 500MBps לכל TiB: לעומסי עבודה תובעניים של AI/ML, לאפליקציות מורכבות של HPC ולניתוח נתונים אינטנסיבי שדורש תפוקה משמעותית, אבל יכול להפיק תועלת מיחס מאוזן יותר בין מחיר לביצועים.
- 250MBps לכל TiB: מתאים למגוון רחב של עומסי עבודה של HPC, הסקת מסקנות של AI/ML, עיבוד מקדים של נתונים ויישומים שדורשים ביצועים טובים יותר מאשר NFS מסורתי, במחיר משתלם.
- 125MBps לכל TiB: מיועד לתרחישים שבהם קיבולות גדולות וגישה מקבילית למערכת קבצים הם חשובים. מתאים למשימות מקבילות שפחות מוגבלות על ידי קלט/פלט.
רמה דינמית
הרמה הדינמית היא פתרון חסכוני שנועד לטפל במערכי נתונים גדלים של AI ו-HPC. המערכת מבצעת אופטימיזציה אוטומטית של הביצועים על סמך דפוסי גישה לנתונים. הוא מספק מרחב שמות יחיד ומאוחד בקנה מידה של פטה-בייט, ומאפשר גישה מהירה לנתונים פעילים שמאוחסנים במטמון עם ביצועים גבוהים, תוך הפחתת עלות הבעלות הכוללת (TCO) של קבוצות נתונים גדולות. התפוקה הכוללת שזמינה למופע גדלה בקצב של 25MBps לכל TiB.
המערכת מנהלת את מיקום הנתונים בצורה חכמה באמצעות מדיניות אוטומטית שעוזרת לוודא שהנתונים שנמצאים בשימוש תדיר ימשיכו לפעול בצורה יעילה. התהליך הזה שקוף למשתמשים ולאפליקציות, שמקיימים אינטראקציה עם מערכת הקבצים כנקודת הרכבה יחידה, בלי שנדרשת העברה ידנית של נתונים או ניהול תקורה.
יתרונות מרכזיים
- עלויות אחסון מופחתות: אפשר להקטין את העלות לכל בייט של מערכי נתונים גדולים על ידי אחסון רוב הנתונים באחסון נפח חסכוני.
- מרחב שמות יחיד בקנה מידה של פטה-בייט: אפשר לאחד מערכי נתונים גדולים וגדלים לנקודת טעינה יחידה בלי להעביר נתונים באופן ידני או להעביר נתונים בין מערכות אחסון שונות.
- חכם ואוטומטי: מערכת שקופה של שמירת נתונים במטמון ברמת הבלוק עוזרת לוודא שאחסון עם ביצועים גבוהים משמש לנתונים החשובים ביותר.
- ביצועים משולבים: זמן אחזור של פחות מאלפית השנייה לנתונים פעילים, וזמן אחזור עקבי של עשרות אלפיות השנייה לחלקים בערכת הנתונים שניגשים אליהם בתדירות נמוכה יותר.
מפרטי ביצועים מפורטים
כדי שהמופעים שלכם ישיגו את המספרים האלה של IOPS וביצועי מטא-נתונים, כדאי לפעול לפי השיטות המומלצות שמפורטות במאמר בנושא שיקולי ביצועים.
IOPS
הקצב המקסימלי של פעולות קלט/פלט (IOPS) גדל באופן ליניארי לכל TiB של קיבולת מוקצית של מופע.
| רמת התפוקה | קריאת IOPS (לכל TiB) | IOPS של כתיבה (לכל TiB) |
|---|---|---|
125 MBps per TiB |
725 | 700 |
250 MBps per TiB |
1,450 | 1,400 |
500 MBps per TiB |
2,900 | 2,800 |
1000 MBps per TiB |
5,800 | 5,600 |
Dynamic |
145 | 140 |
פעולות שקשורות למטא-נתונים
העלייה המקסימלית במספר פעולות המטא-נתונים מתבצעת בשלבים על סמך הקיבולת.
כל מופע מקבל את השלב הראשון של ביצועי המטא-נתונים בגודל המופע המינימלי (שהוא קטן יותר משלב הקיבולת הרגיל).
במקרים גדולים יותר, הביצועים משתפרים בכל פעם שהקיבולת הכוללת גדולה יותר מכפולה של גודל השלב.
| שכבת ביצועים | שלב הקיבולת (GiB) | נתונים סטטיסטיים לגבי קבצים נוספו לכל שלב | קבצים שנוספו ליצירה לכל שלב | מחיקות קבצים נוספו לכל שלב |
|---|---|---|---|---|
| 1,000 MBps לכל TiB | 72,000 | 410,000 לשנייה | 115,000 לשנייה | 95,000 לשנייה |
| 500MBps לכל TiB | 144,000 | |||
| 250MBps לכל TiB | 288,000 | |||
| 125MBps לכל TiB | 576,000 | |||
| דינמית | 3,776,000 | 275,000 לשנייה | 115,000 לשנייה | 130,000 לשנייה |
דוגמה: ברמה של 1,000 MBps לכל 1 TiB, גודל הקיבולת הוא 72,000 GiB. אם יוצרים מכונה וירטואלית בגודל 153,000GiB, מקבלים נתוני ביצועים של מטא-נתונים שמתייחסים ל-3 שלבים:
- שלב 1: מוענק בגודל המינימלי של המופע.
- שלב 2: ניתן כשקיבולת האחסון חורגת מ-72,000GiB.
- שלב 3: מקבלים את ההרשאה כשקיבולת האחסון חורגת מ-144,000GiB.
- שלב 4: לא הושג. ההרשאה ניתנת כשהקיבולת חורגת מ-216,000GiB.
מכיוון ש-153,000GiB נמצא בין ספי ה-144,000GiB וה-216,000GiB, המופע מקבל שלוש רמות של ביצועים: מקסימום של 1,230,000 נתונים סטטיסטיים של קבצים בשנייה (3 * 410,000).