40-250 كيلوواط لكل رف: حلول مراكز البيانات فائقة الكثافة: حلول مراكز البيانات فائقة الكثافة
تكافح مراكز البيانات التي تم إنشاؤها قبل خمس سنوات لتبريد 10 كيلوواط لكل رف. تتطلب أعباء عمل الذكاء الاصطناعي اليوم ما لا يقل عن 40 كيلوواط، مع عمليات نشر الجيل التالي التي تهدف إلى 250 كيلوواط. تخلق الفجوة بين البنية التحتية الحالية والمتطلبات الحديثة مشكلة بقيمة 100 مليار دولار يمكن للهندسة الذكية حلها.
تستهلك أنظمة GB200 NVL72 من NVIDIA 140 كيلو وات في تكوين حامل واحد.¹ وتصل أحدث عمليات نشر Azure من Microsoft بشكل روتيني إلى 50 كيلو وات لكل حامل.² وتدفع Google بكثافة 60 كيلو وات في حزم TPU.³ لا يمكن للبنية التحتية التي كانت تعمل على تشغيل سحابة الأمس أن تتعامل مع الذكاء الاصطناعي في الغد، وتواجه المؤسسات خيارًا صارخًا: إعادة البناء من الصفر أو هندسة حلول مبتكرة تسد الفجوة.
فيزياء التبريد شديد الكثافة
يفشل التبريد الهوائي التقليدي للأرضية المرتفعة بشكل كارثي فوق 15 كيلوواط لكل رف. يمكن أن تؤدي إعادة تدوير الهواء الساخن إلى خلق ظروف هروب حراري، حيث تخرج درجات الحرارة عن السيطرة. يولد الرف الواحد بقدرة 40 كيلوواط نفس الحرارة التي يولدها 14 جهاز تدفئة منزلي يعمل باستمرار. قم بتجميع ثمانية من هذه الرفوف على التوالي، وأنت تدير الناتج الحراري لمبنى مكتبي صغير مضغوط في 200 قدم مربع.
يحل المهندسون تحديات الكثافة القصوى من خلال ثلاث طرق أساسية. يجلب التبريد السائل المباشر سائل التبريد مباشرةً إلى مصدر الحرارة، ويزيل 30-40 كيلوواط لكل رف باستخدام المبادلات الحرارية الخلفية أو الألواح الباردة. التبريد بالغمر يغمر الأنظمة بأكملها في سائل عازل، ويتعامل مع كثافات تتراوح بين 50 و100 كيلوواط مع الاستغناء عن الحاجة إلى المراوح. تجمع الأساليب الهجينة بين تقنيات متعددة، باستخدام التبريد السائل لوحدات معالجة الرسومات مع الحفاظ على تبريد الهواء للمكونات منخفضة الكثافة.
ترجح الرياضيات كفة التبريد السائل بشكل حاسم. يفوق معامل نقل الحرارة في الماء معامل نقل الحرارة في الهواء بمقدار 3500 مرة.⁴ يمكن لغالون واحد من الماء إزالة نفس الحرارة التي يزيلها 3000 قدم مكعب من الهواء. وتحقق أنظمة التبريد بالسائل معدلات فعالية استخدام الطاقة (PUE) تتراوح بين 1.02 و1.10، مقارنةً ب 1.4 و1.8 للتبريد بالهواء التقليدي.⁵ كل تحسن بنسبة 0.1 في فعالية استخدام الطاقة (PUE) يوفر حوالي مليون دولار سنويًا في منشأة بقدرة 10 ميجاوات.
تتضاعف تحديات توزيع الطاقة على نطاق واسع.
تتطلب تغذية حامل واحد بقدرة 250 كيلو وات إعادة تصميم أساسية للبنية التحتية للطاقة. تتطلب الدوائر التقليدية 208 فولت 208 فولت توصيلات بقدرة 1200 أمبير - وهي عبارة عن كابلات أكثر سمكًا من ذراع الإنسان. تستخدم المنشآت الحديثة توزيع 415 فولت أو 480 فولت لتقليل متطلبات التيار، ولكن حتى هذه الأنظمة تتطلب استثمارات نحاسية ضخمة. يتطلب الحامل الواحد بقدرة 250 كيلوواط بنية تحتية للطاقة تعادل طاقة 50 منزلاً نموذجياً.
يصادف مهندسو Introl الميدانيون بانتظام منشآت تحاول تحديث تصميمات بقدرة 5 كيلوواط لأحمال 40 كيلوواط. تتعطل القواطع الكهربائية باستمرار. ارتفاع درجة حرارة المحولات. تتعطل وحدات توزيع الطاقة تحت أحمال لم يتم تصميمها للتعامل معها. وغالبًا ما تكتشف المؤسسات أن سعة الطاقة الإجمالية لمبانيها لا يمكنها دعم أكثر من عدد قليل من الرفوف عالية الكثافة، مما يجبرها على إجراء ترقيات باهظة الثمن للمرافق تستغرق من 18 إلى 24 شهرًا حتى تكتمل.
يبدأ تصميم الطاقة الذكي بتوزيع التيار المستمر حيثما أمكن. يزيل التيار المباشر خسائر التحويل التي تهدر 10-15% من الطاقة في أنظمة التيار المتردد التقليدية.⁷ أظهر مشروع الحوسبة المفتوحة من Facebook أن توزيع التيار المباشر يقلل من إجمالي استهلاك الطاقة بنسبة 20% مع تحسين الموثوقية.⁸ تدعم أنظمة وحدة معالجة الرسومات الحديثة بشكل متزايد مدخلات التيار المباشر، مما يلغي مراحل التحويل المتعددة التي تولد الحرارة وتقلل من الكفاءة.
تتطلب البنية التحتية الميكانيكية إعادة تصور كامل للبنية التحتية الميكانيكية.
تتحمل أرضيات مراكز البيانات القياسية 150-250 رطلاً لكل قدم مربع. يزن الرف المحمل بالكامل بقدرة 250 كيلوواط أكثر من 8000 رطل، ويتركز في 10 أقدام مربعة فقط. ⁹ يصبح تعزيز الأرضية إلزاميًا، مما يضيف ما بين 50,000 و100,000 دولار لكل رف في التحسينات الهيكلية. تواجه المناطق الزلزالية تحديات إضافية، مما يتطلب أنظمة عزل متخصصة تمنع تلف المعدات أثناء الزلازل.
يقدم التبريد بالسائل تعقيدات ميكانيكية جديدة. يتطلب توزيع سائل التبريد مضخات ومبادلات حرارية وأنظمة ترشيح تفتقر إليها المنشآت التقليدية. تحتاج عملية نشر سائل التبريد بقدرة 1 ميجاوات إلى 400-500 جالون في الدقيقة من تدفق سائل التبريد.¹⁰ يصبح اكتشاف التسرب أمرًا بالغ الأهمية - يمكن أن يؤدي اختراق واحد لسائل التبريد إلى تدمير معدات بملايين الدولارات في ثوانٍ. تنشر Introl نظام الكشف عن التسرب ثلاثي التكرار مع صمامات الإغلاق التلقائي التي يتم تنشيطها في غضون 100 مللي ثانية من اكتشاف الرطوبة.
تمثل البنية التحتية للأنابيب وحدها استثمارًا ضخمًا. وتتراوح تكلفة الأنابيب النحاسية ما بين 30 إلى 50 دولارًا أمريكيًا للقدم الطولي الواحد، يتم تركيبها.¹¹ يتطلب صف واحد من الرفوف المبردة بالسائل ما بين 500 إلى 1000 قدم من الأنابيب لخطوط الإمداد والعودة. تضيف المشعبات والصمامات ونقاط التوصيل ما بين 20,000 دولار إلى 30,000 دولار لكل رف. غالبًا ما تكلف البنية التحتية الميكانيكية أكثر من المعدات الحاسوبية التي تدعمها.
تتكيف بنية الشبكة مع متطلبات الكثافة.
تتطلب الحوسبة فائقة الكثافة عرض نطاق ترددي غير مسبوق للشبكة. تحتاج كل وحدة معالجة رسومات NVIDIA H100 إلى 400 جيجابت في الثانية من الاتصال بالشبكة لتحقيق الأداء الأمثل.¹² يحتاج كل خادم من وحدات معالجة الرسومات ذات 8 وحدات معالجة رسومات إلى 3.2 تيرابايت في الثانية من عرض النطاق الترددي الإجمالي - أكثر مما كانت تستهلكه العديد من مراكز البيانات بأكملها قبل خمس سنوات. تكافح البنى التقليدية للتبديل من أعلى الحامل لتلبية هذه المتطلبات.
تدفع عمليات النشر الكثيفة إلى اعتماد البنى الشبكية المجزأة. توفر طوبولوجيات أوراق العمود الفقري زمن انتقال ونطاق ترددي ثابت بغض النظر عن أنماط حركة المرور. تتيح ضوئيات السيليكون إمكانية توصيلات بسرعة 800 جيجابت في الثانية و1.6 تيرابايت في الثانية لا يمكن للنحاس تحقيقها.¹³ تستخدم عمليات نشر إنترول بشكل متزايد كابلات نحاسية متصلة مباشرة (DAC) للتوصيلات التي يقل طولها عن 3 أمتار وكابلات بصرية نشطة (AOC) للمسافات الأطول، مما يؤدي إلى تحسين التكلفة واستهلاك الطاقة.
تصبح إدارة الكابلات معقدة بشكل مدهش عند الكثافة الشديدة. يتطلب حامل 40 جيجا بكسل أكثر من 200 كابل للطاقة والشبكات والإدارة. يولد كل كابل حرارة من خلال المقاومة الكهربائية. ويؤدي سوء إدارة الكابلات إلى تقييد تدفق الهواء، مما يؤدي إلى خلق نقاط ساخنة تؤدي إلى اختناق حراري. يكرس مهندسو Introl 20-30% من وقت التركيب لإدارة الكابلات، باستخدام أنظمة توجيه متخصصة تحافظ على أنصاف أقطار الانحناء المناسبة مع زيادة كفاءة التبريد إلى أقصى حد.
تشكل القيود الجغرافية استراتيجيات النشر.
تتصدر سنغافورة اعتماد الكثافة العالمية من خلال منشآت جديدة مصممة لاستيعاب 50-100 كيلوواط لكل رف منذ اليوم الأول. وتدعم الحوافز الحكومية اعتماد التبريد السائل من خلال تخفيض الضرائب وتسريع عملية منح التصاريح. إنترول تواجدنا في منطقة آسيا والمحيط الهادئ يضعنا في مركز التحول، مع مهندسين محليين يفهمون المتطلبات واللوائح الإقليمية.
تستفيد أسواق شمال أوروبا من المناخ البارد للحصول على مزايا التبريد المجاني. تستفيد مراكز البيانات في ستوكهولم من مياه بحر البلطيق الباردة لرفض الحرارة، مما يحقق معدل PUE على مدار العام أقل من 1.10 ¹¹⁵ تجمع المرافق النرويجية بين الطاقة الكهرومائية والتبريد الطبيعي لإنشاء البنية التحتية الأكثر كفاءة في العالم للذكاء الاصطناعي. تدير Introl عمليات النشر التي تستغل هذه المزايا الجغرافية مع الحفاظ على معايير الاتصال العالمية.
يحدد توافر المياه بشكل متزايد مواقع النشر. تستهلك أنظمة التبريد السائل 0.1-0.2 جالون لكل كيلوواط في الدقيقة لكل كيلوواط من سعة التبريد.¹⁶ تحتاج المنشأة التي تبلغ قدرتها 10 ميجاوات إلى ما بين 1000 إلى 2000 جالون في الدقيقة - وهو ما يكفي لملء حوض سباحة أولمبي كل خمس ساعات. تواجه المواقع الصحراوية خيارات مستحيلة بين عدم كفاءة تبريد الهواء وندرة المياه. تقوم المؤسسات ذات التفكير المستقبلي الآن بتقييم حقوق المياه إلى جانب توافر الطاقة عند اختيار مواقع مراكز البيانات.
النماذج الاقتصادية هي التي تقود قرارات التبني.
تعتمد حالة العمل للبنية التحتية ذات الكثافة العالية على خصائص أعباء العمل. أعباء عمل تدريب الذكاء الاصطناعي التي تعمل بشكل مستمر لأسابيع تبرر أي استثمار يحسن الكفاءة. يؤدي تحسين الأداء بنسبة 1% في عملية تدريب لمدة شهر إلى توفير 7.2 ساعة من وقت الحوسبة. بسعر 40 دولارًا لكل وحدة معالجة رسومات في الساعة لمثيلات H100، فإن التحسينات التي تبدو صغيرة تولد عوائد هائلة.¹⁷
تفضل المقارنات بين النفقات الرأسمالية (CapEx) البنية التحتية التقليدية، ولكن النفقات التشغيلية (OpEx) تروي قصة مختلفة. يقلل التبريد بالسوائل من استهلاك الطاقة بنسبة 30-40% مقارنةً بالتبريد بالهواء.¹⁸ يوفر نشر 1 ميجاوات من 400,000-500,000 دولار سنويًا من تكاليف الكهرباء وحدها.¹⁹ يؤدي انخفاض التآكل الميكانيكي إلى إطالة عمر المعدات بنسبة 20-30%، مما يؤجل تكاليف الاستبدال.²⁰ تتيح الكثافة الأعلى المزيد من الحوسبة في المرافق الحالية، مما يؤدي إلى تجنب تكاليف البناء الجديدة التي يتراوح متوسطها بين 10-15 مليون دولار لكل ميجاوات.²¹.
يجب أن تراعي نماذج التكلفة الإجمالية للملكية (TCO) تكاليف الفرصة البديلة. تخسر المؤسسات التي لا تستطيع نشر بنية تحتية عالية الكثافة ميزة تنافسية لصالح المؤسسات التي تستطيع ذلك. تستغرق عمليات تدريب GPT الخاصة بـ OpenAI 10 أضعاف الوقت الذي تستغرقه عمليات تدريب GPT بدون بنية تحتية محسّنة.²² الفرق بين 40 كيلوواط و100 كيلوواط لكل رف يحدد ما إذا كانت النماذج تتدرب في أسابيع أو أشهر. تعتمد الريادة في السوق بشكل متزايد على قدرات البنية التحتية التي تفشل المقاييس التقليدية في التقاطها.
يتطلب التعقيد التشغيلي خبرة جديدة.
تتطلب إدارة البنية التحتية شديدة الكثافة مهارات تفتقر إليها فرق مراكز البيانات التقليدية. تتطلب أنظمة التبريد السائل خبرة في السباكة نادراً ما توجد في أقسام تكنولوجيا المعلومات. يجب أن يفهم الفنيون ديناميكيات السوائل وفوارق الضغط وكيمياء المبردات. يمكن أن يتسبب سوء تكوين معلمة واحدة في حدوث فشل كارثي - يمكن أن يؤدي الضغط الزائد إلى انفجار التوصيلات، بينما يمكن أن يتسبب الضغط القليل جدًا في تجويف المضخة.
تعالج Introl فجوة الخبرة من خلال برامج تدريبية متخصصة لمهندسينا الميدانيين البالغ عددهم 550 مهندسًا. تتعلم الفرق كيفية تشخيص مشاكل تدفق سائل التبريد، وإجراء الصيانة الوقائية لوحدات توزيع التبريد، والاستجابة لأحداث التسرب. تغطي برامج الاعتماد المتطلبات الخاصة بالشركة المصنعة لتقنيات التبريد المختلفة. تتشارك الفرق الإقليمية أفضل الممارسات من خلال قاعدة معارفنا العالمية، مما يضمن جودة خدمة متسقة في جميع مواقعنا البالغ عددها 257 موقعاً.
تولد أنظمة المراقبة بيانات أكثر من 10 إلى 100 مرة أكثر من البنية التحتية التقليدية. يُنتج كل حامل آلاف نقاط القياس عن بُعد التي تغطي درجة الحرارة والضغط ومعدل التدفق واستهلاك الطاقة وصحة المكونات. تحدد خوارزميات التعلم الآلي الأنماط التي تتنبأ بالأعطال قبل حدوثها. تستخدم فرق Introl التشغيلية التحليلات التنبؤية لجدولة الصيانة أثناء فترات التوقف المخطط لها، مما يحقق توافرًا بنسبة 99.999% لأعباء عمل الذكاء الاصطناعي الحرجة.
تدفع التقنيات المستقبلية الحدود إلى أبعد من ذلك.
ستتطلب وحدات معالجة الرسومات من الجيل التالي بنية تحتية أكثر تطرفًا. تقترح خارطة طريق NVIDIA ما يتراوح بين 1500 و2000 واط لكل وحدة معالجة رسومات بحلول عام 2027.²³ تستهدف سلسلة MI400 من AMD استهلاك طاقة مماثل.²²⁴ تستهلك محركات Cerebras ذات حجم الرقاقة بالفعل 23 كيلو وات في الوحدة الواحدة.²⁵ يجب أن تتعامل البنية التحتية المستقبلية مع الكثافات التي تبدو مستحيلة اليوم.
يظهر التبريد بالغمر على مرحلتين كحل مثالي للكثافة القصوى. تغلي السوائل العازلة عند درجات حرارة يتم التحكم فيها بدقة، مما يوفر تبريدًا متساوي الحرارة يحافظ على المكونات عند نقاط التشغيل المثلى. ويمتص تغير الطور من السائل إلى البخار كميات هائلة من الحرارة - تصل إلى 250 كيلو وات لكل حامل.²⁶ تمول وزارة الطاقة الأمريكية الأبحاث في مجال التبريد ثنائي الطور لأنظمة الحوسبة على نطاق واسع.²⁷
المفاعلات النمطية الصغيرة (SMRs) يمكن أن تقضي على قيود طاقة الشبكة. تستكشف المفاعلات الضخمة إمكانية مشاركة الطاقة النووية مع مراكز البيانات، مما يوفر كهرباء خالية من الكربون بتكاليف يمكن التنبؤ بها. ويمكن لمفاعل واحد بقدرة 300 ميغاواط من المفاعلات الصغيرة والمتوسطة الحجم أن يزود 3,000 رفوف بقدرة 100 كيلوواط - وهو ما يكفي ل 24,000 وحدة معالجة رسومات.
يتطلب الطريق إلى الأمام اتخاذ إجراءات فورية.
تواجه المؤسسات التي تقوم ببناء البنية التحتية للذكاء الاصطناعي قرارات حاسمة اليوم تحدد المركز التنافسي للعقد القادم. تكلف إعادة تجهيز المرافق الحالية لكثافة 40 كيلوواط من 50,000 دولار إلى 100,000 دولار لكل رف. ²⁹ يكلف بناء بنية تحتية جديدة قادرة على 100 كيلوواط ما بين 200,000 و300,000 دولار لكل رف ولكنها توفر مدرجًا للنمو المستقبلي. ³⁰ الخيار الخاطئ يحبس المؤسسات في بنية تحتية عفا عليها الزمن في الوقت الذي تتزايد فيه أعباء عمل الذكاء الاصطناعي.
تبدأ عمليات الانتقال الناجحة بتقييم شامل. تقوم الفرق الهندسية لدى Introl بتقييم سعة الطاقة الحالية والبنية التحتية للتبريد والدعم الهيكلي وبنية الشبكة لضمان الأداء الأمثل. نحن نحدد الاختناقات التي تحد من زيادة الكثافة ونضع خطط ترقية مرحلية تقلل من التعطيل. يتيح وجودنا العالمي النشر السريع للمعدات والخبرات المتخصصة حيثما احتاج العملاء إلى حلول الكثافة القصوى.
سيكون الفائزون في البنية التحتية للذكاء الاصطناعي هم أولئك الذين يتبنون الكثافة الشديدة بدلاً من محاربتها. كل شهر تأخير يعني أن كل شهر تأخير يعني أن المنافسين يدربون النماذج بشكل أسرع، وينشرون الميزات بشكل أسرع، ويستحوذون على الأسواق أولاً. لا يكمن السؤال فيما إذا كان يجب اعتماد بنية تحتية عالية الكثافة أم لا، ولكن السؤال هو مدى سرعة المؤسسات في تحويل مرافقها لدعم متطلبات الحوسبة التي تحدد الميزة التنافسية في عصر الذكاء الاصطناعي.
المراجع
NVIDIA. "نظام حامل NVIDIA DGX GB200 NVL72 المبرد بالسائل." شركة NVIDIA، 2024. https://www.nvidia.com/en-us/data-center/dgx-gb200/
مايكروسوفت أزور. "ابتكارات البنية التحتية لأعباء عمل الذكاء الاصطناعي." شركة مايكروسوفت، 2024. https://azure.microsoft.com/en-us/blog/azure-infrastructure-ai/
جوجل كلاود. "TPU v5p: سحابة TPU Pods لنماذج اللغات الكبيرة." Google LLC، 2024. https://cloud.google.com/tpu/docs/v5p
ASHRAE. "الخواص الحرارية للماء مقابل الهواء في تطبيقات مراكز البيانات." اللجنة الفنية ASHRAE 9.9، 2024.
معهد وقت التشغيل. "مسح مركز البيانات العالمي 2024: اتجاهات PUE." معهد وقت التشغيل، 2024. https://uptimeinstitute.com/resources/research/annual-survey-2024
مختبر لورانس بيركلي الوطني. "تحليل كفاءة استخدام الطاقة في مركز البيانات من حيث التكلفة والفائدة." LBNL، 2023. https://datacenters.lbl.gov/resources
مشروع الحوسبة المفتوحة. "تحليل فوائد توزيع طاقة التيار المستمر." مؤسسة OCP، 2023. https://www.opencompute.org/projects/dc-power
---. "تقرير كفاءة مركز بيانات فيسبوك برينفيل برينفيل." مؤسسة OCP، 2023. https://www.opencompute.org/datacenter/prineville
شنايدر إلكتريك. "دليل وزن الحامل عالي الكثافة والتحميل الأرضي." شنايدر إلكتريك، 2024. https://www.se.com/us/en/download/document/SPD_VAVR-ABZGDH_EN/
فيرتيف. "إرشادات تصميم التبريد السائل للبنية التحتية للذكاء الاصطناعي." Vertiv، 2024. https://www.vertiv.com/en-us/solutions/learn-about/liquid-cooling-guide/
RSMeans. "بيانات التكلفة الميكانيكية لعام 2024: أنظمة الأنابيب." بيانات جورديان RSMeans، 2024.
NVIDIA. "NVIDIA H100 Tensor Core GPU Architecture Whitepaper." شركة إنفيديا، 2023. https://resources.nvidia.com/en-us-tensor-core/nvidia-h100-datasheet
إنتل. "ضوئيات السيليكون: طفرة في اتصال مركز البيانات." شركة إنتل، 2024. https://www.intel.com/content/www/us/en/architecture-and-technology/silicon-photonics/silicon-photonics-overview.html
هيئة تطوير وسائط المعلومات والاتصالات. "خارطة طريق مركز بيانات سنغافورة 2024". IMDA سنغافورة، 2024. https://www.imda.gov.sg/resources/data-centre-roadmap.
DigiPlex. "مركز بيانات ستوكهولم: ابتكار التبريد المستدام." DigiPlex، 2023. https://www.digiplex.com/stockholm-datacenter
ASHRAE. "إرشادات التبريد السائل لمراكز البيانات، الإصدار الثاني." ASHRAE اللجنة الفنية 9.9، 2024.
أمازون ويب سيرفيسز. "تسعير مثيل EC2 P5." AWS، 2024. https://aws.amazon.com/ec2/instance-types/p5/
Dell Technologies. "تحليل عائد الاستثمار في التبريد السائل المباشر." Dell Technologies، 2024. https://www.dell.com/en-us/dt/solutions/high-performance-computing/liquid-cooling.htm
إدارة معلومات الطاقة الأمريكية. "أسعار الكهرباء التجارية حسب الولاية." إدارة معلومات الطاقة، 2024. https://www.eia.gov/electricity/monthly/epm_table_grapher.php.
الغمر. "دراسة تأثير التبريد بالغمر على طول عمر الأجهزة." غاطس، 2023. https://submer.com/resources/hardware-longevity-study/
جيه إل إل. "دليل تكلفة إنشاء مركز البيانات لعام 2024." جونز لانج لاسال، 2024. https://www.us.jll.com/en/trends-and-insights/research/data-center-construction-costs
OpenAI. "متطلبات البنية التحتية للتدريب GPT-4." OpenAI، 2023. https://openai.com/research/gpt-4-infrastructure
NVIDIA. "تحديث خارطة طريق وحدة معالجة الرسومات متعددة السنوات." الكلمة الرئيسية ل NVIDIA GTC 2024، مارس 2024.
AMD. "إعلان مسبق لسلسلة Instinct MI400." يوم المستثمر AMD، يونيو 2024.
سيريباس. "مواصفات محرك مقياس الرقاقة CS-3." أنظمة سيريبراس، 2024. https://www.cerebras.net/product-chip/
3M. "التبريد بالغمر ثنائي المراحل لمراكز البيانات." شركة 3M، 2024. https://www.3m.com/3M/en_US/data-center-us/applications/immersion-cooling/
وزارة الطاقة الأمريكية. "مشروع حوسبة الإكساسكيل: ابتكارات التبريد." مكتب العلوم التابع لوزارة الطاقة، 2024. https://www.exascaleproject.org/cooling-research/
نو سكيل باور. "تطبيقات SMR لطاقة مركز البيانات." شركة نو سكيل باور كوربوريشن، 2024. https://www.nuscalepower.com/applications/data-centers
جارتنر. "تحليل تكلفة تحديث مركز البيانات لعام 2024." Gartner, Inc., 2024.
---. "اقتصاديات بناء مراكز البيانات بالذكاء الاصطناعي في الحقول الخضراء." Gartner, Inc., 2024.
