آیا هر سروری برای هوش مصنوعی مناسب است؟ راهنمای انتخاب سختافزار برای اجرای مدلهای AI
اگر یک مدل هوش مصنوعی را میتوان روی لپتاپ یا کامپیوتر شخصی اجرا کرد، چرا شرکتها برای خرید سرورهای قدرتمند AI هزینه زیادی میکنند؟ پاسخ این سؤال فقط در سرعت بیشتر خلاصه نمیشود. اندازه مدل، تعداد کاربران، ظرفیت حافظه گرافیکی، مدت فعالیت، امنیت دادهها و نیاز به آموزش مدل، همگی نوع سختافزار موردنیاز را تغییر میدهند.
ممکن است یک مدل کوچک با یک کارت گرافیک اقتصادی روی کامپیوتر شخصی اجرا شود؛ اما وقتی قرار باشد همان مدل بهصورت شبانهروزی به صدها کاربر پاسخ دهد، شرایط متفاوت خواهد بود. سرور باید علاوه بر توان پردازشی، پایداری، خنکسازی، پهنای باند شبکه و امکان توسعه مناسبی داشته باشد.
مجموعههایی مانند ماهان شبکه ایرانیان در زمینه تأمین و کانفیگ سرور، تجهیزات ذخیرهسازی و کارتهای پردازشی فعالیت میکنند. با این حال، پیش از انتخاب تجهیزات باید مشخص شود که هدف پروژه آموزش مدل، اجرای مدل آماده یا ارائه یک سرویس عمومی هوش مصنوعی است.
مدلهای هوش مصنوعی کجا اجرا میشوند؟
مدل هوش مصنوعی ممکن است روی کامپیوتر شخصی، ورکاستیشن، سرور اختصاصی یا زیرساخت ابری اجرا شود. هر گزینه مزایا و محدودیتهای خود را دارد.
کامپیوتر شخصی برای یادگیری، آزمایش و اجرای مدلهای کوچک مناسب است. هزینه اولیه آن قابلکنترل است و کاربر دسترسی مستقیمی به سختافزار دارد؛ اما ظرفیت رم، تعداد کارتهای گرافیک، پاور و خنکسازی آن محدودتر از سرورهای حرفهای است.
ورکاستیشن میتواند یک یا چند GPU قدرتمند را در اختیار کاربر قرار دهد و برای توسعه نرمافزار، رندر، تولید محتوا و بعضی پروژههای AI گزینه مناسبی باشد. با افزایش تعداد کاربران یا نیاز به فعالیت شبانهروزی، سرور اختصاصی اهمیت بیشتری پیدا میکند.
زیرساخت ابری نیز امکان اجاره منابع پردازشی را فراهم میکند. برای پروژههای کوتاهمدت یا مصرف متغیر، Cloud میتواند مقرونبهصرفه باشد؛ اما استفاده طولانی و دائمی از GPUهای قدرتمند ممکن است هزینه زیادی ایجاد کند.
تفاوت Training و Inference چیست؟
یکی از مهمترین مراحل انتخاب سختافزار، مشخصکردن نوع پردازش است. فعالیتهای هوش مصنوعی معمولاً در دو گروه کلی Training و Inference قرار میگیرند.
Training به فرایند آموزش مدل گفته میشود. در این مرحله، حجم زیادی از دادهها پردازش میشوند و پارامترهای مدل بارها تغییر میکنند تا خروجی بهتری ایجاد شود. آموزش مدلهای بزرگ به توان پردازشی، حافظه و پهنای باند بسیار زیادی نیاز دارد.
Inference به استفاده از مدل آموزشدیده برای تولید پاسخ گفته میشود. زمانی که کاربر از یک مدل زبانی سؤال میپرسد یا یک سامانه هوش مصنوعی تصویری را تحلیل میکند، فرایند Inference در حال انجام است.
یک سرور مناسب Inference لزوماً برای Training سنگین مناسب نیست. در Inference ممکن است سرعت پاسخگویی، تعداد کاربران همزمان و هزینه هر درخواست مهمتر باشد. در Training، توان پردازشی، ظرفیت حافظه و سرعت ارتباط میان GPUها اهمیت بیشتری پیدا میکند.
آیا هر سرور قدرتمندی برای AI مناسب است؟
خیر. سروری که برای دیتابیس، حسابداری یا میزبانی وب طراحی شده، ممکن است پردازنده و رم قدرتمندی داشته باشد؛ اما فضای کافی برای نصب GPU، پاور مناسب یا مسیرهای PCIe موردنیاز را ارائه ندهد.
بعضی شاسیها فقط از کارتهای کممصرف یا تکاسلات پشتیبانی میکنند. بعضی دیگر فضای نصب کارت دو یا سهاسلات دارند، اما منبع تغذیه آنها برای GPUهای پرمصرف کافی نیست. خنکسازی نیز یکی از محدودیتهای مهم است.
پیش از خرید سرور اچ پی برای پروژه AI باید تعداد و مدل GPU، توان مصرفی، نوع خنکسازی، ابعاد کارت، تعداد خطوط PCIe و کابلهای برق بررسی شوند. مشاهده یک اسلات خالی روی مادربرد به این معنی نیست که هر کارت گرافیکی را میتوان داخل آن نصب کرد.
تفاوت سرور معمولی با GPU Server
سرور معمولی بیشتر برای پردازشهای وابسته به CPU، اجرای نرمافزارهای سازمانی، ذخیرهسازی و مجازیسازی عمومی طراحی میشود. این دستگاه ممکن است یک GPU کممصرف را پشتیبانی کند، اما برای نصب چند کارت قدرتمند آماده نباشد.
GPU Server از ابتدا برای نصب شتابدهندههای پردازشی طراحی شده است. فضای بیشتر، رایزرهای مناسب، مسیرهای PCIe کافی، پاورهای پرتوان و جریان هوای قویتر از ویژگیهای این سرورها هستند.
در بعضی مدلها، GPUها از طریق PCIe به سیستم متصل میشوند. در پلتفرمهای تخصصیتر، معماریهایی مانند HGX و SXM برای ایجاد ارتباط سریع میان GPUها استفاده میشوند. این سیستمها برای آموزش مدلهای بزرگ و محاسبات سنگین مناسبترند، اما قیمت و پیچیدگی بیشتری دارند.
CPU چه نقشی در سرور هوش مصنوعی دارد؟
با وجود اهمیت GPU، پردازنده مرکزی همچنان یکی از اجزای اصلی سرور AI است. CPU وظایفی مانند اجرای سیستمعامل، آمادهسازی دادهها، مدیریت ورودی و خروجی، کنترل سرویسها و هماهنگی GPUها را بر عهده دارد.
اگر پردازنده نتواند دادهها را با سرعت مناسب آماده کند، GPU بخشی از زمان خود را منتظر میماند. این وضعیت باعث میشود از توان واقعی کارت گرافیک استفاده نشود.
تعداد هسته بیشتر برای پیشپردازش دادهها، اجرای چند سرویس و مدیریت کاربران همزمان مفید است. با این حال، انتخاب CPU باید متناسب با تعداد GPUها و نوع نرمافزار انجام شود. استفاده از پردازنده بسیار گران بدون نیاز واقعی، هزینه سیستم را افزایش میدهد.
در سرورهای چندسوکته باید توپولوژی PCIe نیز بررسی شود. ممکن است هر GPU به یکی از پردازندهها متصل باشد و دسترسی پردازنده دیگر به آن با تأخیر بیشتری انجام شود. تنظیم صحیح NUMA میتواند در پروژههای سنگین اهمیت داشته باشد.
چرا GPU برای هوش مصنوعی اهمیت دارد؟
پردازنده مرکزی برای اجرای مجموعه متنوعی از دستورها طراحی شده است، اما GPU تعداد زیادی واحد پردازشی کوچکتر دارد که میتوانند عملیات مشابه را بهصورت موازی انجام دهند.
بخش زیادی از محاسبات یادگیری عمیق بر پایه عملیات ماتریسی است. GPUها در انجام موازی این عملیات عملکرد مناسبی دارند و به همین دلیل زمان آموزش و اجرای مدل را کاهش میدهند.
این موضوع به معنی بیاهمیتبودن CPU نیست. یک سرور متعادل باید بتواند دادهها را با سرعت مناسب از فضای ذخیرهسازی دریافت، در حافظه آماده و برای GPU ارسال کند. ضعیفبودن هر بخش میتواند کل سیستم را محدود کند.
CUDA Core و Tensor Core چیست؟
CUDA Core واحد پردازشی عمومی در GPUهای انویدیا است و برای اجرای محاسبات موازی استفاده میشود. تعداد بیشتر CUDA Core میتواند توان پردازشی را افزایش دهد، اما مقایسه مستقیم این عدد میان نسلهای متفاوت همیشه دقیق نیست.
Tensor Core واحد تخصصیتری برای عملیات ماتریسی و محاسبات مرتبط با یادگیری عمیق است. این هستهها میتوانند برخی فرمتهای عددی را با سرعت بیشتری پردازش کنند.
نسل معماری GPU، فرکانس، پهنای باند حافظه و نوع داده پشتیبانیشده در عملکرد واقعی نقش دارند. بنابراین تعداد هستهها نباید تنها معیار انتخاب کارت گرافیک باشد.
VRAM چیست و چرا اهمیت دارد؟
VRAM حافظهای است که مستقیماً در اختیار کارت گرافیک قرار دارد. وزنهای مدل، دادههای ورودی، خروجیهای میانی و حافظه موردنیاز پردازش در این فضا قرار میگیرند.
اگر مدل داخل VRAM جا نشود، ممکن است اجرای آن غیرممکن یا بسیار کند شود. انتقال بخشی از اطلاعات میان رم سیستم و حافظه GPU میتواند تأخیر زیادی ایجاد کند.
به همین دلیل، برای بسیاری از پروژههای مدل زبانی، ظرفیت VRAM گاهی از قدرت خام GPU مهمتر میشود. یک کارت سریع با ۱۶ گیگابایت حافظه ممکن است نتواند مدلی را اجرا کند که روی کارت کندتری با ۲۴ یا ۴۸ گیگابایت حافظه جا میشود.
البته ظرفیت بالا بهتنهایی کافی نیست. سرعت حافظه و پهنای باند آن نیز بر عملکرد مدل اثر دارند. حافظههای HBM در کارتهای دیتاسنتری معمولاً پهنای باند بیشتری نسبت به حافظههای رایج کارتهای مصرفی ارائه میدهند.
Precision چه تأثیری بر مصرف حافظه دارد؟
Precision مشخص میکند اعداد با چه دقتی ذخیره و پردازش شوند. فرمت FP32 برای هر مقدار ۳۲ بیت فضا مصرف میکند. FP16 و BF16 از ۱۶ بیت استفاده میکنند و INT8 نیز به ۸ بیت محدود میشود.
کاهش Precision میتواند مصرف حافظه و زمان پردازش را کم کند؛ اما ممکن است روی دقت خروجی اثر بگذارد. روش Quantization با کاهش دقت عددی وزنهای مدل، امکان اجرای مدلهای بزرگتر روی سختافزار محدودتر را فراهم میکند.
برای مثال، یک مدل که با FP16 داخل یک کارت قرار نمیگیرد، ممکن است پس از Quantization به INT8 یا 4-bit قابل اجرا شود. نتیجه نهایی به معماری مدل، نرمافزار و میزان حساسیت پروژه به کیفیت پاسخ بستگی دارد.
آیا ظرفیت چند GPU با یکدیگر جمع میشود؟
از نظر فیزیکی، نصب دو کارت ۲۴ گیگابایتی یعنی سیستم در مجموع ۴۸ گیگابایت VRAM دارد؛ اما نرمافزار الزاماً این حافظه را مانند یک فضای یکپارچه نمیبیند.
برای استفاده از حافظه چند GPU، مدل باید میان کارتها تقسیم شود یا نرمافزار از روشهای Parallelism پشتیبانی کند. بعضی برنامهها بهصورت خودکار مدل را بین GPUها توزیع میکنند و برخی دیگر به پیکربندی دستی نیاز دارند.
وجود NVLink یا ارتباطات سریعتر میتواند جابهجایی اطلاعات میان کارتها را بهبود دهد؛ اما در تمام GPUها در دسترس نیست. همچنین پشتیبانی NVLink میان نسلها و مدلهای مختلف متفاوت است.
رم سیستمی چه مقدار باید باشد؟
رم سیستم و VRAM دو حافظه جداگانه هستند. رم برای سیستمعامل، آمادهسازی دادهها، کش، اجرای برنامهها و بارگذاری اولیه مدل استفاده میشود.
در بسیاری از پروژهها بهتر است ظرفیت رم سیستم از مجموع VRAM بیشتر باشد. اما یک قانون ثابت برای همه کاربردها وجود ندارد. نوع مدل، اندازه دیتاست، تعداد کاربران و روش بارگذاری اطلاعات تعیینکننده هستند.
برای یک سرور اقتصادی تکGPU ممکن است ۶۴ یا ۱۲۸ گیگابایت رم کافی باشد. سیستمهای دارای چند GPU معمولاً به ۲۵۶ یا ۵۱۲ گیگابایت رم یا بیشتر نیاز پیدا میکنند. پروژههای آموزش مدل و پردازش دیتاستهای بزرگ ممکن است ظرفیت بسیار بالاتری بخواهند.
سرعت رم و تعداد کانالهای فعال نیز اهمیت دارند. چینش اشتباه ماژولها میتواند پهنای باند حافظه را کاهش دهد.
NVMe چه نقشی در سرور AI دارد؟
فایل مدلها و دیتاستها ممکن است دهها، صدها یا حتی چندین هزار گیگابایت حجم داشته باشند. اگر فضای ذخیرهسازی کند باشد، بارگذاری مدل و آمادهسازی داده زمان زیادی میبرد.
NVMe از مسیر PCIe استفاده میکند و نسبت به SATA SSD سرعت و تعداد عملیات بیشتری ارائه میدهد. این حافظه برای سیستمعامل، مدلهای فعال، دیتاست پرتکرار و فضای موقت پردازش مناسب است.
با این حال، NVMe جای VRAM را نمیگیرد. پس از بارگذاری مدل، بخش اصلی محاسبات روی GPU و حافظه آن انجام میشود. استفاده از سریعترین NVMe نمیتواند کمبود حافظه کارت گرافیک را بهطور کامل جبران کند.
برای آرشیو مدلها و بکاپ نیز میتوان از SSD، HDD یا تجهیزات ذخیرهسازی شبکه استفاده کرد. ترکیب چند سطح ذخیرهسازی میان سرعت و هزینه تعادل ایجاد میکند.
PCIe Lane چیست؟
هر GPU برای ارتباط با پردازنده و سیستم به مسیرهای PCIe نیاز دارد. یک کارت ممکن است از اتصال x16 استفاده کند، اما تعداد خطوط واقعی و نسل PCIe اهمیت دارند.
نصب چند GPU به تعداد زیادی PCIe Lane نیاز دارد. اگر پردازنده یا مادربرد مسیر کافی نداشته باشد، بعضی اسلاتها با پهنای باند کمتر فعالیت میکنند.
ظاهر یک اسلات x16 نیز تضمین نمیکند که از نظر الکتریکی تمام ۱۶ خط فعال باشد. ممکن است یک اسلات از نظر فیزیکی x16 اما از نظر الکتریکی x8 باشد.
نسل PCIe نیز روی پهنای باند اثر دارد. PCIe 4.0 نسبت به PCIe 3.0 پهنای باند بیشتری در هر Lane ارائه میدهد و PCIe 5.0 این ظرفیت را دوباره افزایش میدهد. البته تأثیر واقعی به حجم تبادل داده و نوع پردازش بستگی دارد.
تفاوت GPUهای PCIe و پلتفرم HGX
کارتهای PCIe مانند بسیاری از تجهیزات توسعه، داخل اسلاتهای استاندارد نصب میشوند. این معماری انعطافپذیر است و در سرورهای مختلف کاربرد دارد.
در پلتفرمهایی مانند NVIDIA HGX، چند GPU دیتاسنتری از طریق ارتباطات پرسرعت به یکدیگر متصل میشوند. این ساختار برای آموزش مدلهای بزرگ، HPC و پردازشهایی که تبادل زیادی میان GPUها دارند طراحی شده است.
سرور PCIe برای بسیاری از پروژههای استنتاج، رندر و مدلهای متوسط کافی است. HGX زمانی ارزش خود را نشان میدهد که نرمافزار بتواند از چند GPU و ارتباط سریع میان آنها استفاده کند.
قیمت، مصرف انرژی، وزن، خنکسازی و زیرساخت برق HGX معمولاً بیشتر است. بنابراین انتخاب آن بدون نیاز واقعی ممکن است هزینه سنگینی ایجاد کند.
پاور سرور AI چگونه انتخاب میشود؟
GPUهای قدرتمند مصرف برق بالایی دارند. برای مثال، توان مصرفی کارتهای دیتاسنتری ممکن است از چندصد وات عبور کند. در یک سرور چندGPU، فقط کارتهای گرافیک میتوانند چند کیلووات انرژی مصرف کنند.
برای محاسبه پاور باید مصرف GPUها، پردازندهها، رم، دیسکها، فنها و کارتهای شبکه در نظر گرفته شود. مقداری ظرفیت آزاد نیز برای بارهای لحظهای و توسعه آینده لازم است.
بعضی GPUها به کابل برق اختصاصی یا GPU Enablement Kit نیاز دارند. نبود کابل یا کانکتور مناسب میتواند نصب کارت را غیرممکن کند.
پاور افزونه باعث میشود خرابی یکی از منابع تغذیه الزاماً سرور را خاموش نکند. اما توان موردنیاز باید در حالت افزونگی نیز قابل تأمین باشد.
خنکسازی کارتهای دیتاسنتری
بسیاری از GPUهای دیتاسنتری از خنکسازی Passive استفاده میکنند؛ یعنی فن مستقلی روی خود کارت ندارند. این کارتها به جریان هوای پرقدرت شاسی سرور وابستهاند.
نصب کارت Passive داخل کیس معمولی یا شاسی دارای جریان هوای ضعیف میتواند باعث افزایش دما و کاهش فرکانس شود. در شرایط شدید، سیستم ممکن است برای محافظت از سختافزار خاموش شود.
چیدمان فن، وجود Air Baffle، محل نصب کارت و دمای ورودی هوا باید براساس راهنمای سازنده تنظیم شوند. سرورهای چندGPU نیز معمولاً صدای فن و گرمای زیادی تولید میکنند و برای استفاده در محیط اداری عادی مناسب نیستند.
آیا کارت گرافیک گیمینگ برای AI مناسب است؟
کارتهای گیمینگ میتوانند در بسیاری از پروژههای آزمایشی، توسعه و حتی برخی کاربردهای حرفهای عملکرد خوبی ارائه دهند. نسبت قیمت به توان پردازشی آنها گاهی جذاب است.
اما کارت گیمینگ معمولاً برای فعالیت دائمی دیتاسنتری، نصب متراکم چندGPU و خنکسازی Passive طراحی نشده است. ابعاد بزرگ، کانکتور برق، نوع فن و نبود بعضی قابلیتهای سازمانی میتواند محدودیت ایجاد کند.
کارتهای حرفهای و دیتاسنتری ممکن است حافظه بیشتر، طراحی مناسب سرور، پشتیبانی نرمافزاری سازمانی و امکان مجازیسازی بهتر داشته باشند. انتخاب میان این دو گروه به بودجه، مدت فعالیت، تعداد کاربران و حساسیت سرویس بستگی دارد.
مقایسه چند GPU پرکاربرد
Tesla P40 با حافظه ۲۴ گیگابایت
P40 یک کارت قدیمیتر اما اقتصادی است. ظرفیت ۲۴ گیگابایتی آن برای اجرای مدلهای سبک و برخی مدلهای Quantized مناسب است. این کارت Tensor Core ندارد و از نظر سرعت و بهرهوری انرژی با نسلهای جدید قابل مقایسه نیست.
P40 از خنکسازی Passive استفاده میکند و باید در شاسی دارای جریان هوای مناسب نصب شود. برای آموزش مدلهای جدید و سنگین، گزینه ایدئالی محسوب نمیشود؛ اما برای آزمایش و اجرای اقتصادی برخی مدلها همچنان کاربرد دارد.
NVIDIA T4 با حافظه ۱۶ گیگابایت
T4 کارت کممصرفتری است که برای Inference، پردازش ویدئو و سرویسهای چندرسانهای استفاده میشود. مصرف انرژی پایینتر، امکان نصب آن را در سرورهای بیشتری فراهم میکند.
ظرفیت ۱۶ گیگابایتی ممکن است برای مدلهای زبانی بزرگ محدود باشد، اما در سرویسهای استنتاج سبک، تشخیص تصویر و پردازش ویدئو عملکرد مناسبی ارائه میدهد.
RTX A6000 با حافظه ۴۸ گیگابایت
RTX A6000 دارای ۴۸ گیگابایت VRAM است و برای مدلهای متوسط، تولید محتوا، رندر و پروژههای هوش مصنوعی گزینه قابلتوجهی محسوب میشود.
این کارت از نظر شکل نصب و نوع خنکسازی باید با شاسی بررسی شود. ظرفیت ۴۸ گیگابایت امکان اجرای مدلهایی را فراهم میکند که روی GPUهای ۱۶ یا ۲۴ گیگابایتی جا نمیشوند.
NVIDIA A100 با حافظه ۴۰ یا ۸۰ گیگابایت
A100 برای پردازشهای دیتاسنتری، آموزش و استنتاج حرفهای طراحی شده است. نسخههای مختلف آن در قالب PCIe یا SXM عرضه شدهاند و باید دقیقاً مشخص شود کدام مدل با سرور سازگار است.
پهنای باند حافظه، Tensor Core و پشتیبانی نرمافزاری، A100 را برای پروژههای جدی یادگیری عمیق مناسب میکنند. با این حال، هزینه خرید و زیرساخت آن بیشتر از گزینههای اقتصادی است.
NVIDIA L40S با حافظه ۴۸ گیگابایت
L40S یک GPU دیتاسنتری چندمنظوره برای هوش مصنوعی مولد، پردازش تصویر، ویدئو و رندر است. ظرفیت ۴۸ گیگابایت و معماری جدیدتر، آن را برای بسیاری از پروژههای Inference و تولید محتوا مناسب میکند.
این کارت Passive و پرمصرف است و به شاسی، پاور و جریان هوای مناسب نیاز دارد.
NVIDIA H200 با حافظه ۱۴۱ گیگابایت
H200 برای مدلهای بزرگ، پردازشهای سنگین و زیرساختهای حرفهای طراحی شده است. حافظه HBM3e با ظرفیت بالا، امکان نگهداری مدلها و دادههای بیشتری را در حافظه GPU فراهم میکند.
این محصول برای پروژههای سازمانی و دیتاسنتری بزرگ مناسب است و به زیرساخت تخصصی برق، خنکسازی و شبکه نیاز دارد. استفاده از آن برای یک مدل کوچک یا پروژه آزمایشی معمولاً توجیه اقتصادی ندارد.
کانفیگ اقتصادی برای مدلهای کوچک
برای یادگیری، آزمایش Ollama و اجرای مدلهای سبک Quantized میتوان از یک GPU اقتصادی با ۱۶ تا ۲۴ گیگابایت VRAM استفاده کرد.
یک کانفیگ پایه میتواند شامل موارد زیر باشد:
- پردازنده چندهستهای متناسب
- ۶۴ تا ۱۲۸ گیگابایت رم
- یک GPU مانند T4 یا P40
- SSD یا NVMe برای مدلها
- کارت شبکه یک یا ۱۰ گیگابیتی
- پاور و خنکسازی سازگار
این کانفیگ برای آموزش مدلهای بزرگ مناسب نیست؛ اما میتواند نقطه شروعی برای توسعه و اجرای سرویسهای محدود باشد.
کانفیگ حرفهای برای مدلهای متوسط
برای اجرای مدلهای متوسط، تولید تصویر، پردازش ویدئو یا ارائه سرویس به چند کاربر میتوان از GPUهایی با ۴۸ گیگابایت حافظه استفاده کرد.
این سطح معمولاً به موارد زیر نیاز دارد:
- پردازنده دارای هسته و PCIe Lane کافی
- ۲۵۶ تا ۵۱۲ گیگابایت رم
- یک یا دو RTX A6000 یا L40S
- NVMe سازمانی
- کارت شبکه ۱۰ یا ۲۵ گیگابیتی
- پاورهای پرتوان افزونه
- شاسی دارای جریان هوای مناسب
تعداد کاربران و مدل مورد استفاده باید پیش از انتخاب تعداد GPUها مشخص شود.
کانفیگ سازمانی برای مدلهای بزرگ
آموزش یا سرویسدهی مدلهای بزرگ ممکن است به چند A100 یا H200 نیاز داشته باشد. در چنین سیستمی، ارتباط میان GPUها، ظرفیت رم و سرعت شبکه اهمیت بیشتری پیدا میکند.
این پروژهها ممکن است به موارد زیر نیاز داشته باشند:
- چند پردازنده سروری
- ۵۱۲ گیگابایت تا چند ترابایت رم
- چند GPU دیتاسنتری
- ذخیرهسازی NVMe پرسرعت
- شبکه ۲۵، ۱۰۰ یا ۲۰۰ گیگابیتی
- زیرساخت توزیعشده
- برق چندکیلوواتی
- خنکسازی دیتاسنتری
- سیستم مانیتورینگ و بکاپ
انتخاب سرور هوش مصنوعی در این سطح باید براساس معماری مدل، Framework، روش Parallelism و برنامه توسعه پروژه انجام شود.
سرور HPE یا پلتفرم تخصصی GPU؟
برخی مدلهای HPE ProLiant امکان نصب یک یا چند GPU را دارند و برای Inference، VDI، تحلیل داده و پروژههای متوسط مناسباند. مزیت آنها، مدیریت سازمانی، iLO، پاور افزونه و دسترسی مناسب به قطعات است.
برای نصب تعداد زیادی GPU پرمصرف، باید از مدلهایی استفاده کرد که صراحتاً برای این کار طراحی شدهاند. سرورهای GPU تخصصی فضای بیشتر، پاور قویتر و توپولوژی مناسبتری ارائه میکنند.
یک DL380 قدرتمند الزاماً جایگزین سرور 4U یا 8U چندGPU نیست. معیار اصلی، تعداد کارت، ابعاد، توان مصرفی و ارتباط موردنیاز میان GPUهاست.
خرید سرور نو یا استوک برای AI
سرور نو فناوری جدیدتر، PCIe سریعتر، مصرف انرژی بهینهتر و دوره پشتیبانی طولانیتری ارائه میدهد. برای پروژههای سازمانی و بلندمدت، این مزایا اهمیت دارند.
سرور استوک سالم میتواند هزینه ورود به پروژه را کاهش دهد. با این حال، وضعیت پاورها، رایزرها، فنها، کنترلر، رم و اسلاتهای PCIe باید بررسی شود.
سرورهای بسیار قدیمی ممکن است از PCIe نسل پایینتر استفاده کنند یا توان و خنکسازی کافی برای GPUهای جدید نداشته باشند. همچنین مصرف انرژی بیشتر آنها میتواند بخشی از صرفهجویی اولیه را از بین ببرد.
در خرید کارت گرافیک کارکرده نیز باید دما، سلامت حافظه، پایداری زیر بار و وضعیت ظاهری بررسی شود.
سرور داخلی یا Cloud؟
زیرساخت ابری برای پروژههایی مناسب است که مصرف آنها کوتاهمدت، آزمایشی یا متغیر است. تیم میتواند بدون خرید سختافزار، GPU موردنیاز را برای چند ساعت یا چند روز اجاره کند.
اگر پردازش بهصورت دائمی انجام شود، خرید سرور اختصاصی ممکن است در بلندمدت اقتصادیتر باشد. نگهداری دادههای حساس در داخل سازمان و کنترل کامل روی زیرساخت از دیگر مزایای سرور داخلی است.
در مقابل، سازمان باید هزینه برق، خنکسازی، نگهداری و نیروی فنی را بپذیرد. تصمیم درست با محاسبه مجموع هزینه مالکیت و مقایسه آن با هزینه Cloud مشخص میشود.
گاهی معماری ترکیبی بهترین نتیجه را ایجاد میکند؛ پردازشهای دائمی روی سرور داخلی انجام میشوند و برای بارهای موقت از Cloud کمک گرفته میشود.
اشتباهات رایج هنگام خرید سرور AI
اولین اشتباه، انتخاب GPU فقط براساس تعداد CUDA Core است. ظرفیت و پهنای باند VRAM، نسل معماری و پشتیبانی نرمافزاری نیز اهمیت دارند.
اشتباه دوم، تصور جمعشدن خودکار حافظه چند GPU است. نرمافزار باید بتواند مدل را میان کارتها تقسیم کند.
اشتباه سوم، نادیدهگرفتن پاور و خنکسازی است. نصب فیزیکی کارت به معنی آمادهبودن سرور برای استفاده از آن نیست.
اشتباه چهارم، استفاده از کارت Passive در شاسی دارای جریان هوای ضعیف است. چنین اشتباهی میتواند باعث دمای بالا و کاهش عملکرد شود.
اشتباه پنجم، خرید سختافزار پیش از انتخاب مدل و Framework است. ابتدا باید اندازه مدل، نوع Precision، تعداد کاربران و سرعت پاسخگویی مورد انتظار مشخص شوند.
چکلیست انتخاب سرور AI
پیش از خرید، به این پرسشها پاسخ دهید:
- هدف Training است یا Inference؟
- چه مدل و چه Frameworkی استفاده خواهد شد؟
- مدل در چه Precisionی اجرا میشود؟
- حداقل VRAM موردنیاز چقدر است؟
- چند کاربر بهصورت همزمان سرویس میگیرند؟
- به چند GPU نیاز داریم؟
- آیا نرمافزار از چند GPU پشتیبانی میکند؟
- کارتها PCIe هستند یا پلتفرم HGX لازم است؟
- پردازنده چند PCIe Lane ارائه میدهد؟
- ظرفیت رم سیستم چقدر باید باشد؟
- چه میزان NVMe نیاز داریم؟
- توان مصرفی کل سیستم چقدر است؟
- آیا شاسی از نظر ابعاد و خنکسازی سازگار است؟
- چه سرعت شبکهای موردنیاز است؟
- برنامه بکاپ و مانیتورینگ چیست؟
- امکان ارتقا در دو یا سه سال آینده وجود دارد؟
جمعبندی
هر سرور قدرتمندی برای هوش مصنوعی مناسب نیست. سرور AI باید براساس نوع مدل، Training یا Inference، ظرفیت VRAM، تعداد GPU، پهنای باند PCIe، رم، ذخیرهسازی، پاور و خنکسازی انتخاب شود.
