TGViewer
HPC Nerds | High Performance and Scientific Computing HPC Nerds | High Performance and Scientific Computing @hpcnerds · 243 subscribers
Post #27 398
برای استفاده از یک کلاستر HPC و یا یک سوپرکامپیوتر باید چه ابزار هایی رو بشناسیم؟


1⃣ Linux
سیستم عامل کلاستر های HPC همیشه یک توزیع لینوکس هست پس مطمئن بشیم حداقل دستورات لازم برای استقرار و اجرای پروژمون رو می‌دونیم.

2⃣ Slurm
کلاستر HPC مثل یه سرور عادی نیست! سعی نکنیم تا ترمینال سیستم واسمون باز شد همینطوری پروژمون رو اجرا کنیم. سروری که ما بهش متصل شدیم صرفا یک login node هست و اگه پروژمون رو همینطوری روش اجرا کنیم فقط از منابع سخت افزاری همون سرور میتونیم استفاده کنیم. منابع این کلاستر ها توسط یک workload manager مدیریت میشه که معروف ترین سیستم برای اینکار Slurm هست. روند استفاده اینطوریه که در یک فایل با فرمتی مشخص منابع سخت افزاری و برنامه های که پروژتون برای اجرا نیاز داره رو مشخص می‌کنید و یکسری موارد دیگه مثل اینکه اگه اجرا به خطا خورد چه اتفاقی بیفته. مثلاً میتونیم در اون فایل مشخص کنیم که پروژه ما به 64 هسته CPU و یک GPU احتیاج داره و نیازمندی نرم افزاریش هم python 3 است و نهایتا سه روز اجرا شدنش طول میکشه. وقتی یک job رو به این صورت ثبت کنیم، Slurm منابع مورد نیاز رو در صورت وجود از کلاستر برای اجرای این job اختصاص میده.

3⃣ Lmod
کاربرهای زیادی از یک سوپرکامپیوتر استفاده میکنند و هر کدوم ممکنه به نسخه خاصی از برنامه های مختلف احتیاج داشته باشند. وظیفه مدیریت این نیازمندی های نرم افزاری و  لود کردن برنامه های مورد نیاز هر job به عهده Lmod هست. دستورات Lmod رو معمولا در همون فایل تعریف job قبل از دستورات اجرای پروژه می نویسیم. مثلاً
module load gcc/14.1

⚠️ هر کلاستر به کاربرهاش یکسری مستندات مبنی بر سیاست تخصیص منابع، سطوح دسترسی و ماژول های که میتونن استفاده کنند ارائه میده. این مستندات رو نادیده نگیریم.

@hpcnerds
  • ❤ 5
  • 👍 1
More from @hpcnerds
  1. Jun 10, 2024قراره یک ورکشاپ یک روزه در مورد کاربرد های Julia در HPC توسط Oak Ridge National Laboratory…
  2. Jun 6, 2024این تیکه کد رو ببینید، وقتی اجرا بشه 7 تا عمل ضرب انجام میده: x = x*x*x*x*x*x*x*x; به صورت…
  3. Jun 1, 2024قبلا در مورد BLAS گفتم یکی از تکنیک هایی که پیاده سازی های سریع ازش استفاده قابل توجهی کرد…
  4. May 31, 2024در ایران برای دسترسی به سرور های محاسبات سنگین چه گزینه هایی داریم؟ فرض کنید که یک پروژه د…
  5. May 31, 2024چند سالی میشه که Intel داره روی یک مجموعه ابزار مخصوص HPC کار میکنه به نام oneAPI . بعضی ا…
  6. May 30, 2024برای سال ها محبوب ترین استاندارد برای انجام محاسبات توزیع شده MPI بوده. یکی از پروژه های ک…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →