קירור טבילה לעומת ישיר-אל-קירור שבב: מה זה אומר על מפרטי הצנרת שלך

הקדמה: ההחלטה שמתרחשת מאוחר מדי

רוב מהנדסי מרכז הנתונים בוחרים בטכנולוגיית הקירור שלהם - טבילה או ישירה-ל-שבב - בהתבסס על יעדי צפיפות מתלים ותקציב הון. מפרט הצנרת מגיע מאוחר יותר, לעתים קרובות מתייחסים אליו כאל פרט ביצוע ולא כמנהל תכנון. הרצף הזה הוא טעות.

מערכת הנוזלים שאתה בונה סביב ארכיטקטורת הקירור שבחרת אינה ניתנת להחלפה. מפרט צנרת שנכתב עבור קירור לוח קר-ל-ישיר (D2C)- יכשל - באופן מילולי ותפעולי - אם יותקן מחדש לטבילה חד-שלבית- ולהיפך. עם צפיפות מתלה GPU שעולה כעת באופן שגרתי על 50 קילוואט ועומסי עבודה של בינה מלאכותית דוחפים לכיוון 100 קילוואט לכל מתלה, קבלת מפרט הצינורות ממש בשלב התכנון הסכמטי כבר אינה אופציונלית. דליפה בודדת במערכת D2C יכולה להוריד מתלה שלם של 400,000 $ בחומרת GPU תוך שניות.

מדריך זה נכתב עבור מהנדסי מכונות ואינסטלציה שכבר קיבלו (או מקבלים) את ההחלטה על ארכיטקטורת הקירור וצריכים לתרגם את הבחירה הזו למפרט צנרת בר-הגנה, תואם -ASHRAE.

 

 

מתלה CDU של מרכז נתונים לקירור נוזלי ישירות לשבב GPU

 

1. שתי ארכיטקטורות, שתי לוגיקה של לולאות נוזלים שונות לחלוטין

לפני שתגעו בלוח זמנים של צינורות, הבינו שקירור טבילה ו-D2C פועלים על פי עקרונות הידראוליים שונים מהותית.

ישיר-ל-שבב (D2C)מזרימה נוזל - בדרך כלל מים מופחתים או תערובת-גליקול מים - דרך לוחות קרות המותקנות ישירות על מעבדים, GPUs ו-ASICs. החום נספג במשטח השבב ומועבר ליחידת חלוקת נוזל קירור (CDU), אשר מחליפה אותו עם מערכת המים של המתקן. התוצאה היא רשת צפופה ולחוץ של צינורות-קטנים בקוטר, סעפות, אביזרי ניתוק מהיר- ופלטות קרות, שכולם חייבים לעבוד באיזון הידראולי בו-זמנית.

קירור טבילה חד-פאזימטביע לוחות שרתים שלמים בנוזל דיאלקטרי - בדרך כלל פחמימן סינתטי או נוזל מהונדס - בתוך מיכל. חום מעביר מכל הרכיבים לנוזל, אשר נשאב לאחר מכן דרך מחליף חום חיצוני. רשת הצינורות החיצונית היא מינימלית: למעשה שני חיבורים לכל מיכל (אספקה ​​והחזרה) הפועלים ללולאת קירור CDU או מתקן.

ההבדל הארכיטקטוני הוא בולט: D2C מחלק את האתגר ההידראולי על פני עשרות נקודות חיבור לכל מתלה; טבילה מגבשת אותו ללולאה חיצונית פשוטה-בלחץ נמוך. הכל במורד הזרם במפרט הצנרת שלך נובע מההבחנה הזו.

 

2. בחירת חומרי צינור: איפה ASHRAE קובע את הגבול

ASHRAE TC 9.9 ו-TC 9.6 מפורשים לגבי תאימות חומרים. עבור לולאות קירור מבוססות מים-D2C, ההנחיה אוסרת על אבץ, אלומיניום ופליז המכילים יותר מ-15% אבץ - שכולם מאיצים קורוזיה גלוונית בנוכחות מים מטופלים. מבחינה מעשית, זה שולל אביזרי פליז צהובים סטנדרטיים וצינור פלדה מגולוונת שנשארים נפוצים במערכות HVAC הידרוניות.

עבור לולאת מערכת קירור הטכנולוגיה (TCS) - הלולאה המשנית המגישה צלחות קרות ישירות -נירוסטה 304 או 316הוא המפרט הסטנדרטי. לולאת ה-TCS מפעילה בדרך כלל מים מופחתים או מטופלים מאוד, שהם למעשה אגרסיביים יותר כלפי קורוזיה מאשר מים עירוניים, מכיוון שכמעט ואין להם יכולת חציצה. שסתום בידוד בכל מתלה, המדורג ללחץ הפעולה של המערכת ומיוצר מנירוסטה 316, נדרש הן לתחזוקה שוטפת והן לבידוד נזילות חירום.

עבור קירור טבילה, אתגר החומר משתנה לחלוטין. הנוזל הדיאלקטרי אינרטי מבחינה כימית כלפי רוב המתכות, אך הוא תוקף באגרסיביות אלסטומרים - אטמי EPDM ו-Buna- סטנדרטיים המשמשים ביישומי HVAC יתנפחו ויתפוררו תוך חודשים של מגע עם נוזלים דיאלקטריים מבוססי פחמימנים-. חומר הצנרת עצמו (נירוסטה, פלדת פחמן) תואם בדרך כלל, אך כל אטם, טבעת O- וחיבור גמיש בלולאה החיצונית חייבים להיות מוגדרים כ-PTFE או כחומר פלואורפולימר המדורג עבור הנוזל הספציפי שנמצא בשימוש.

 

3. גודל צינור, מהירות זרימה וירידה בלחץ

ASHRAE TC 9.6 קובע מהירות נוזל מקסימלית של2.1 מ' לשנייה עבור קוטר צינורות הגדול מ-3 אינץ'למניעת שחיקה באביזרים ובעקומות. מתחת ל-3 אינץ', הגבול המעשית קרוב יותר ל-1.5-1.8 מ'/שניה לפני שהסיכון לרעש ושחיקה עולה באופן בלתי מתקבל על הדעת. מגבלות אלו חלות על שתי ארכיטקטורות הקירור אך יוצרות תוצאות גודל שונות מאוד.

במערכות D2C, קצב הזרימה מוכתב על ידי העומס התרמי של כל לוח קר. ככל שהשבב TDP (Thermal Design Power) עולה - H100 GPUs מודרניים פועלים ב-700W TDP, כאשר -מאיצי הדור הבא צפויים ב-1,000W+ - דרישת הזרימה לכל פלטה קרה עולה באופן פרופורציונלי. מתלה של 50 קילוואט עם קירור D2C עשוי לדרוש 8-12 ליטר לדקה של נוזל קירור בסעפת המתלה, המחולקת על פני 8 עד 16 צלחות קרות בודדות. זה מניע את הצורך באיזון הידראולי קפדני: צלחות קרות במקביל חייבות לחלוק את הזרימה באופן שוויוני, או שהשבבים החמים ביותר - בדרך כלל אלה שבקצה הענף הסעפת - יהיו מורעבים מיכולת הקירור.

במערכות טבילה, לולאת הצינור החיצונית נושאת את עומס החום המלא של המיכל, אך במהירות ובלחץ נמוכים בהרבה מכיוון שמנגנון ההנעה בתוך המיכל הוא הסעה ושאיבה-במהירות נמוכה, ולא זרימת לחץ גבוהה-מאולצת. מיכל טבילה של 250 קילוואט דורש בדרך כלל רק 20-30 ליטר לדקה דרך לולאת מחליף החום החיצונית, בלחצים של המערכת לעתים רחוקות יותר מ-2-3 בר.

ההחלטה על ניתוב תקורה לעומת תת רצפתי משפיעה גם על הגודל. ההנחיה של ASHRAE מציינת שמסלולי צינור תת רצפתי חייבים לקחת בחשבון את עובי הבידוד ואת מרווח ההצלבה של הצינור - הוספת 50 מ"מ לקוטר הצינור כאשר לוקחים בחשבון את עטיפת הבידוד היא שגיאת תכנון נפוצה שיוצרת התנגשויות תיאום עם פריסות אריחים מוגבהים-.

 

4. שסתומי בידוד, מסננות ובקרת דליפות: פרט המפרט המגן על זמן עבודה

זה המקום שבו מפרטי הצנרת קובעים באופן ישיר את החוסן התפעולי, ושם רוב מסמכי המפרט מחויבים.

למערכות D2C, לכל מתלה חייב להיות שסתום בידוד הן ברגלי האספקה ​​והן ברגלי ההחזרה, המאפשר לבודד ולנקז מתלה בודד לצורך תחזוקה מבלי לסגור מתלים סמוכים. סוג השסתום המועדף עבור יישום זה הוא אשסתום כדור 3 חלקים עם הברגהבנירוסטה 304 או 316. עיצוב הגוף של שלושה-חלקים הוא קריטי כאן: בניגוד לשסתומים-אחד או שניים-, ניתן לפרק אותו במקום - מבלי לחתוך את הצינור או להסיר את גוף השסתום מהקו - כדי להחליף אטמים או לנקות את המושב. בסביבת מרכז נתונים חיה שבה מזעור זמן ההשבתה של המדף הוא בעל חשיבות עליונה, שירות זה-קו הוא יתרון תפעולי משמעותי, לא מותרות של מפרט.

במעלה הזרם של כל סעפת מתלה, נדרשת מסננת Y מפלדת אל-חלד כדי להגן על תעלות מיקרו- של פלטה קרה מפני זיהום חלקיקים. גיאומטריות לוח קר עבור GPUs בעלי ביצועים גבוהים- משתמשות ברוחב ערוצים צרים עד 0.5–1.0 מ"מ; חלקיק בגודל 200 מיקרון יכול לחסום חלקית תעלה וליצור נקודה חמה מקומית שניטור תרמי עשוי לא לתפוס עד שמתחיל מצערת שבב. ציין מסננות עם דירוג רשת של 50 מיקרון או עדין יותר על לולאת ה-TCS, לפי הנחיות איכות המים של ASHRAE TC 9.9.

ברגל החוזרת, שסתום סימון מנירוסטה מונע זרימה הפוכה דרך מחליף החום CDU כאשר מתלה מבודד או משאבה מפעילה - אירוע זרימה חוזרת שיכול להחדיר נוזל חם לראש האספקה ​​ולהעלות את טמפרטורות נוזל הקירור על פני כל השורה לפני שהבקרות מגיבות.

עבור חיבורי שרת-ל-סעפת, ציין אביזרי ניתוק-מהיר- יבשים עם שפיכה מקסימלית מותרת של 1 סנטימטר מעוקב לכל מחזור ניתוק, בהתאם לתקני חיבור OCP (Open Compute Project). מקטעי צינור גמישים בחיבורים אלה חייבים להיות מאובטחים עם מהדקים נוספים במרווחים של 150 מ"מ כדי למנוע צניחת לחץ- הנגרמת ולחץ על הברגים מתאימים.

למערכות טבילה, מפרט הבידוד פשוט יותר אך לא טריוויאלי. כל מיכל זקוק לשסתומי בידוד אספקה ​​והחזרה בגודל של זרימת מיכל מלאה, בתוספת פתח דגימה לניטור איכות הנוזל. ציין את חיבורי הלולאה החיצוניים בחומר התואם לנוזל הדיאלקטרי הספציפי - אשר תאימות עם ספק הנוזל בכתב לפני סיום המפרט, שכן ניסוחי הנוזלים הקנייניים משתנים.

כבל איתור נזילות צריך להיות מנותב לכל האורך של כל צינורות האספקה ​​של D2C, ממוקם בנקודה הנגישה הנמוכה ביותר של כל מגש צינור או מגש כבלים. עבור מערכות טבילה, מספיקים גלאי דליפת חיישן נקודתי-בכל בסיס מיכל וב-CDU, בהתחשב בכך שחיבורי צינור חיצוניים מועטים ובעלי ראות גבוהה-.

 

 

שסתום כדור עם הברגה של Leadtek 3 חלקים

 

5. רשימת מפרט מעשי לפני הנפקה לבנייה

לפני שמפרט הצנרת שלך עוזב את צוות ההנדסה, ודא את הדברים הבאים מול ארכיטקטורת הקירור שבחרת:

עמידה בחומר: כל המתכות המורטבות מאושרות נקיות מסגסוגות אבץ וסגסוגות אלומיניום (D2C); כל האלסטומרים שאושרו תואמים לכימיה של נוזל דיאלקטרי (טבילה)

בדיקת מהירות: מקסימום 2.1 מ' לשנייה בצינורות בקוטר גדול או שווה לקוטר של 3 אינץ', לפי ASHRAE TC 9.6

שסתומי בידוד: שסתום כדורי כדור אחד בן 3 חלקים לכל מתלה, אספקה ​​והחזרה, עם יכולת שירות-בקו (D2C)

דירוג מסננת: פחות או שווה לרשת של 50 מיקרון באספקת TCS, במעלה הזרם של כל סעפת מתלה (D2C)

בדוק את מיקום השסתום: רגל חזרה של CDU, כל ענף החזרת מתלה (D2C)

מפרט-ניתוק מהיר: שבירה- יבשה, פחות או שווה לשפיכה של 1 סמ"ק, תואמת OCP- (D2C)

איתור נזילות: כבל רציף בכל מסלולי האספקה ​​(D2C); חיישני נקודה בבסיס הטנק וב-CDU (טבילה)

פינוי תת רצפתי: צינור OD פלוס בידוד בתוספת מרווח מוצלב של 50 מ"מ אושר בדגם ריק רצפה

תוכנית טיפול במים: תוכנית כימיה- ספציפית לאתר פעילה לפני מילוי המערכת, עם פרוטוקול ניטור מתמשך שצוין

 

מסקנה: ציין את מערכת הצינור כך שתתאים לארכיטקטורת הקירור, לא להיפך

החלטת טכנולוגיית הקירור ומפרט הצנרת אינם שלבים עוקבים - הם החלטה הנדסית משולבת אחת. הבחירה בין טבילה לקירור D2C קובעת את ההיגיון ההידראולי, אילוצי החומר, אסטרטגיית הבידוד ופרופיל הסיכון לדליפות של כל מערכת הנוזלים שלך. ניסיון להתאים מפרט גנרי של צינורות HVAC הידרוניים לכל אחת מהארכיטקטורות, ייצור מערכת שמבצעת ביצועים נמוכים תפעוליים ויוצרת חשיפת תחזוקה מיותרת.

שלב את מפרט הצנרת שלך בתכנון סכמטי, לצד בחירת ארכיטקטורת הקירור. השתמש ב-ASHRAE TC 9.6 ו-TC 9.9 כמסגרת התאימות הבסיסית שלך, וודא כל בחירת חומר מול כימיית הנוזלים בפועל במערכת שלך - לא הנחת "מים" גנרית. 30 הדקות המושקעות בקבלת סוג שסתום הבידוד ודירוג רשת המסננת ממש בשלב המפרט יחסכו הרבה יותר מ-30 דקות בזמן השבתה עתידי.

 

שאלות נפוצות

ש: האם אני יכול להשתמש בצינור פלדת פחמן HVAC סטנדרטי ללולאת קירור ישירה-ל-שבב?

פלדת פחמן משמשת בלולאות מים מצוננים-בצד המתקן (FWS), אך היא אינה מתאימה ללולאת מערכת קירור הטכנולוגיה (TCS) המשרתת ישירות צלחות קרות. לולאת ה-TCS מפעילה מים מטוהרים מאוד עם תכולת יונית נמוכה, שהם מאכלים יותר לפלדת פחמן מאשר מי HVAC מטופלים. ציין נירוסטה 304 או 316 עבור כל הצנרת והאביזרים של לולאות TCS.

ש: מדוע יצרן ה-CDU שלי מציין גודל חיבור צינור שונה מאשר ספק הפלטה הקרה שלי?

CDUs וצלחות קרות מקורם לעתים קרובות מיצרנים שונים ומתוכננים להנחות שונות של התנגדות זרימה פנימית. חוסר ההתאמה של גודל החיבור הוא בעיית איזון הידראולי: אם ה-CDU מצפה ל-10 ליטר/דקה ב-2 בר והלוחות הקרות יחד דורשות 14 ליטר/דקה כדי לשמור על טמפרטורות של צומת שבבים, המפרט של אף אחד מהספקים אינו שגוי - עיצוב המערכת לא ייאם אותם. יש להשלים דגם הידראולי של לולאת ה-TCS המלאה, משקע CDU לכל פלטה קרה ובחזרה, לפני סיום גודל חיבור כלשהו.

ש: באיזו תדירות יש לנקות מסננות Y בלולאת קירור D2C?

במהלך 90 הימים הראשונים לפעולה, בדוק מדי חודש את סלי המסננות - מערכות צנרת חדשות מורידות חלקיקים כאשר ציפויי צינור מתרפאים ואביזרים מתיישבים. לאחר תקופת ההפסקה-בדרך כלל, בדיקה רבעונית מספיקה למערכות לולאה סגורות- עם ניטור שוטף של איכות המים. אם ה-CDU שלך משלב חיישן לחץ דיפרנציאלי על פני המסננת, הגדר אזעקה ב-0.3 בר delta-P כקו הבסיס הנקי- של הסל.

ש: האם צנרת קירור טבילה פשוטה יותר לציון מאשר D2C?

רשת הצינורות החיצונית לקירור טבילה פשוטה משמעותית - פחות נקודות חיבור, לחץ נמוך יותר וללא חלוקת סעפת- במפלס. עם זאת, מפרט החומר מורכב יותר מכיוון שיש לאמת תאימות של נוזל דיאלקטרי עבור כל אלסטומר, אטם ומחבר גמיש במערכת. מצב הכשל של תאימות חומרים שגויים במערכת טבילה הוא איטי וקשה לזיהוי: השפלה של איטום במשך 12-18 חודשים, ולאחר מכן אובדן נוזלים וזיהום הדרגתי, ולא אירוע הדליפה המיידי והנראה לעין שמערכות D2C מייצרות.

ש: מהו גובה ריק הרצפה המינימלי הנדרש לצינור קירור D2C העובר מתחת לרצפה מוגבהת?

הנחיית ASHRAE אינה קובעת מינימום אוניברסלי, מכיוון שהיא תלויה בקוטר הצינור, מפרט הבידוד והאם צינורות חוצים זה את זה. כלל תכנון מעשי הוא לאפשר את OD הצינור הגדול ביותר בריצה, בתוספת 75 מ"מ של בידוד מכל הצדדים, בתוספת 50 מ"מ מרווח מעל עבור צינורות מוצלבים, בתוספת 25 מ"מ למטה עבור תומכים. עבור רשת אספקה ​​של 4- אינץ' עם בידוד של 25 מ"מ, זה מניב חלל רצפה מינימלי של כ-300 מ"מ - גדול מהריק של 250 מ"מ הנפוץ במרכזי נתונים מדור קודם בקומה מוגבהת, שהוא אילוץ שיפוץ שראוי לזהות מוקדם.