اتصال ۴ مک مینی با Thunderbolt5 برای پردازش هوش مصنوعی – بررسی عملکرد و مزایا

چهار مک مینی با ۴۸ گیگابایت رم، از طریق Thunderbolt 5برای پردازش هوش مصنوعی به یک خوشه متصل شدند. این امکان توسط پروژه آزمایشی Exo فراهم شده است.

برای اجرای مدل‌های زبانی هوش مصنوعی به‌صورت محلی، مهم‌ترین نیاز، حافظه‌ای با سرعت بالا است. مک مینی‌های اپل با تراشه M4 Pro قادر به ارائه سرعت ۲۷۳ گیگابایت بر ثانیه هستند که این قابلیت را فراهم می‌کند. با این حال، حداکثر میزان حافظه در این دستگاه‌ها به ۶۴ گیگابایت محدود شده که برای مدل‌های زبانی بزرگ کافی نیست. به همین دلیل، تلاش شده است که چهار مک مینی از طریق Thunderbolt 5 به یک خوشه با مجموع ۱۹۲ گیگابایت حافظه متصل شوند. نرم‌افزار آزمایشی Exo برای این کار استفاده شده است.

توضیح روند اجرای آزمایش

در این آزمایش، چهار مک مینی با کابل‌های USB-C به هم متصل شده و یک خوشه هوش مصنوعی کوچک ایجاد شد. اندازه این مجموعه به حدی کوچک است که روی یک کف دست جا می‌گیرد و ۱۹۲ گیگابایت حافظه سریع دارد. این کار با استفاده از Exo انجام شد که یک نرم‌افزار متن‌باز است و امکان ترکیب چندین دستگاه در یک شبکه برای اجرای مدل‌های زبانی هوش مصنوعی را فراهم می‌کند. گفته شده که این سیستم حتی روی تلفن‌های هوشمند نیز قابلیت اجرا دارد. اما برای بررسی دقیق‌تر، آزمایش‌های عملی روی این خوشه انجام شد.

علاوه بر این، در کنار آزمایش خوشه، عملکرد مک مینی‌ها به‌صورت مجزا نیز مورد بررسی قرار گرفت تا مشخص شود که چگونه با مدل‌های زبانی برخورد می‌کنند.

مشکلات حافظه در اجرای مدل‌های زبانی بزرگ

اجرای مدل‌های زبانی بزرگ به حافظه‌ای سریع نیاز دارد. برای مثال، برای کیفیت بالای DeepSeek، بیش از ۷۰۰ گیگابایت حافظه لازم است. در حال حاضر، بیشترین حافظه‌ای که یک کارت گرافیک مصرف‌کننده می‌تواند ارائه دهد، ۳۲ گیگابایت (RTX 5090) است که بسیار گران‌قیمت و کمیاب محسوب می‌شود. از سوی دیگر، استفاده از رم عادی نیز گزینه‌ای است که در مقایسه با حافظه ویدئویی، عملکرد کندتری دارد.

یک راه‌حل دیگر، ترکیب چندین دستگاه با حافظه کمتر است. Exo این امکان را فراهم کرده که مدل‌های زبانی بزرگ به‌طور پویا بین تمام دستگاه‌های موجود در خوشه توزیع شوند. این روند از طریق اجرای Exo روی چندین دستگاه انجام شده و در صورت حضور در یک شبکه، به‌صورت خودکار یکدیگر را شناسایی می‌کنند.

اتصال از طریق Thunderbolt 5

از آنجایی که بسیاری از دستگاه‌ها (از جمله مک مینی) تنها از درگاه اترنت ۱ گیگابیت در ثانیه برخوردار هستند، امکان برقراری ارتباط سریع برای پردازش خوشه‌ای با محدودیت مواجه است. اما مک مینی‌های M4 Pro به درگاه Thunderbolt 5 مجهز شده‌اند که می‌تواند سرعت ۸۰ گیگابیت بر ثانیه را فراهم کند.

پس از بررسی، مشخص شد که انتقال داده از طریق Thunderbolt 5 با حداکثر سرعت ۶۴ گیگابیت بر ثانیه انجام می‌شود که نسبت به درگاه اترنت مک مینی‌ها، ۶۴ برابر سریع‌تر است. با این حال، پردازش این حجم از داده‌ها خود باعث افزایش بار پردازشی روی مک مینی‌ها می‌شود.

آزمایش مدل‌های زبانی روی مک مینی

در ابتدا، آزمایش روی یک مک مینی انجام شد. سه مدل زبانی مورد بررسی قرار گرفتند:

1. Phi-4 از مایکروسافت
2. DeepSeek در نسخه ۳۲ میلیارد پارامتری
3. Llama 3.2 که تنها ۲ گیگابایت حجم دارد

نتایج نشان داد که مک مینی کوچک‌تر از ۶۰ توکن در ثانیه پردازش می‌کند که حتی از یک سرور CPU بزرگ با ۱.۵ ترابایت رم نیز سریع‌تر است. با این حال، در مقایسه با یک سیستم مجهز به RTX 4090، مک مینی همچنان عملکرد ضعیف‌تری دارد.

اجرای خوشه‌ای با چهار مک مینی

پس از آزمایش روی یک دستگاه، خوشه‌ای از چهار مک مینی با استفاده از Thunderbolt 5 ساخته شد. انتظار می‌رفت که اتصال این دستگاه‌ها باعث افزایش سرعت اجرای مدل‌های زبانی شود، اما در عمل، سرعت پردازش در خوشه کمتر از یک مک مینی منفرد بود.

دلیل این مسئله آن است که حافظه داخلی M4 Pro دارای پهنای باند ۲۷۳ گیگابایت بر ثانیه است، در حالی که Thunderbolt 5 تنها ۶۴ گیگابیت بر ثانیه را فراهم می‌کند که حدود ۳۰ برابر کندتر است.

مشکلات اجرای مدل‌های زبانی بزرگ

در حین آزمایش، بارها ارتباط بین دستگاه‌ها قطع شد و خوشه دچار ناپایداری شد. در برخی موارد، تنها بخشی از دستگاه‌ها شناسایی می‌شدند که باعث متوقف شدن پردازش می‌شد. این مشکلات باعث شد که اجرای مدل‌های زبانی بسیار بزرگ مانند DeepSeek R1 Llama Distillate با ۷۰ میلیارد پارامتر، بسیار کند (۱.۵ توکن در ثانیه) باشد.

با این حال، بعداً مدل DeepSeek Coder که ۱۲۳ گیگابایت حجم دارد، روی خوشه اجرا شد، اما تنها با ۰.۴ تا ۰.۵ توکن در ثانیه پردازش می‌شد که سرعت بسیار پایینی محسوب می‌شود.

نرم‌افزار Exo در مراحل ابتدایی توسعه قرار دارد و هنوز مشکلات زیادی دارد. اما پتانسیل بالای آن نشان می‌دهد که در آینده ممکن است برای استفاده عملی مناسب باشد. در حال حاضر، این نرم‌افزار بیشتر برای آزمایش‌های تحقیقاتی کاربرد دارد تا استفاده در دنیای واقعی.

در نهایت، مشخص شد که داشتن ۱۹۲ گیگابایت رم در یک خوشه مک مینی برای اجرای مدل‌های زبانی بسیار بزرگ کافی نیست. علاوه بر این، مدل‌های محلی هنوز قادر به رقابت با مدل‌های ابری مانند OpenAI، xAI یا Anthropic نیستند.

به‌عنوان یک راه‌حل جایگزین، استفاده از Mac Studio با ۱۹۲ گیگابایت حافظه اشتراکی نسبت به خوشه چهار مک مینی، عملکرد بهتری ارائه می‌دهد. همچنین، پروژه Digits از انویدیا در آینده قرار است دستگاه‌هایی با ۱۲۸ گیگابایت حافظه سریع عرضه کند که ممکن است گزینه بهتری برای اجرای مدل‌های زبانی محلی باشد.

در نهایت، مک مینی‌ها از نظر کارایی و اندازه، عملکرد خوبی دارند، اما برای اجرای مدل‌های بزرگ هوش مصنوعی در مقیاس بالا، هنوز نیاز به بهبودهای بیشتری وجود دارد.