Singular Thinker

اگه خواستید امضا کنید.
نمیدونم اثری داره یا نه ولی
یکی از کارایی هست که میشه کرد.

خب ما داریم شروع میکنیم...

کمتر از یکساعت دیگه شروع میکنیم
https://meet.google.com/csa-sbkw-ctm

I am still looking for motivated researchers (postdocs and PhD students) to join my group at @ELLISInst_Tue!

Priority areas: AI control and oversight for multi-agent coding systems, deception, collusion, contextual integrity in multi-principal agentic environments, and mechanisms for robust, safe, and efficient interactions.

We offer very generous compute budget, research freedom, no teaching load, and an exciting collaborative environment with research exchanges and co-supervision between awesome groups.

Further details about multiple projects will be shared soon!

If you are interested, please fill out this form: https://docs.google.com/forms/d/e/1FAIpQLSfERP8qmSWHeDLFQ_NAyyaxcznDrzjJZDNbosPgJDJa0d0MKA/viewform

🔗 Sahar Abdelnabi 🕊 (@sahar_abdelnabi)

#phd_position
@SingularThinker

یادآوری

شاید سوال بزرگی که تز دکتری من رو تعریف میکنه و شاید جذابش میکنه در مورد تعمیم پذیری همین overparameterized system هاست.
این مسئله از منظرهای مختلفی جذابیت داره که نیما به خوبی در پست هاش از منظر علوم اعصاب محاسباتی بهش پرداخت ولی از دیدگاه آماری جالبیش اینه که ما طبق قضیه ها و نظریاتی که داشتیم چنین سامانه هایی به شدت باید نامطلوب باشن در حالیکه در عمل خیلی خوب کار میکنن.
حالا ما به بهانه تز دکتری من داریم سعی میکنیم قضیه هایی رو استفاده کنیم که بتونه چنین رفتاری رو توجیه و یا توضیح بده.

در واقع نظریات کلاسیک پیش بینی میکردن که هر چقدر مدل ها پیچیده تر بشوند یا در واقع به یک معنا تعداد پارامترهاشون بیشتر بشه و توانایی یادگیری داده های بیشتری رو داشته باشن، مدل های خوبی نیستن چون احتمالا میان و داده ها رو حفظ میکنن، به جای اینکه الگوی داده ها رو یاد بگیرن. ولی در عمل کاملا برعکس این اتفاق افتاد و همین طور که داریم میبینیم و البته همان طوری که دیدیم مدل ها هی deep و deep تر شدن و نه تنها کیفیت و خروجی افت نکرد بلکه اتفاقا بهتر هم شد.
یعنی نمیدونم شما زمان شروع GPT-3 رو یادتون هست یا نه ولی من یادمه قشنگ که با مهبد داشتیم در موردش صحبت میکردم و کیفیتش واقعا خنده دار بود ولی چیز جالبی بود. میتونست برای چند دیقه ای سرگرمت کنه.

حالا اما این هیولایی که داره زندگی همه ما رو زیر و زیر میکنه با تقریب خیلی خوب میشی گفت که صرفا ورژن خیلی خیلی عمیق تر شده GPT-3 هستش( با صرف نظر از تلاش های مهندسی و بهینه سازی های محاسباتی و زیاد شدن داده ها) حداقل تا شروع ChatGPT5.

درست همون زمان ها بودش که یه کلمه به شدت محبوب شد و اون هم Scaling laws بود. تحقیقاتی اومد بیرون که نشون میداد برای بهبود دقت مدل ها کافیه که صرفا سایز شبکه، تعداد داده ها و در نتیجه میزان محاسبات رو ببرن بالا و خوبی این قانون این بود که به ما میتونست یه پیش بینی خیلی دقیقی بده که چند برابر کردن هر کدوم از پارامترهای قبلی چقد میتونه خطای ما رو بهتر بکنه. این یه بیان ساده ولی نسبتا دقیق از این قوانینه ولی دوست دارم که بعدا مفصل تر در موردشون بنویسم.

حالا چند ماه پیش آقای ILYA Sutskever مدعی شده که دوران و زمانه Scaling law ها گذشته و دیگه دوباره باید برگردیم به دوران پژوهش و سختی بکشیم و اینا تا بتونیم پیشرفت رو بینیم. اینجا منظور از Scale کردن صرفا بخش پیش-آموزش یا pre-training مدلهاست.
اگه عمری بعدا باید راجع به این مراحل مختلف یه LLM هم توضیح بدم. یه سلسله متن هایی رو آماده کرده بودم که ولش کردم متاسفانه.

بنظرم خودش خیلی بامزه تعریف میکنه و حتما دوست داشتید مصاحبه کامل یا حداقل این short رو ببینید ازش:
https://youtube.com/shorts/pLHWn5SQvLM?si=h4pGGPjAXLRtJd5k

و خب میشه گفت هم که درست گفتش ILYA هر چند که شاید خیلی دقیق نبود.
بله درسته برای مدتی به اون معنا توجه از پیش-پردازش مدل ها برداشته شد و صرف چیزهای دیگه مثل test-time reasoning و post-training شد ولی در اصن اینها سوار بر اون scale ها شدن نه اینکه یه خط کاملا جدایی باز بشه.
یعنی شما باید یه مدل تا حد کافی بزرگی داشته باشی که این روش ها رو روش پیاده کنی و طبعا اگر میتونستی پیش پردازشت رو بهتر کنی پس-پردازشت هم بهتر میشد.
یعنی عملا وارد یه دنیای hybrid ای شدیم که دیگه پیش-پردازش همه ی ماجرا نیست ولی همچنان بخش خیلی مهمیه. و این روی هم سوار شدن باعث این شد
که در چیزی که ما در عمل دیدیم گپ رو اصلا حس نکردیم. از اون روزی که مدل ها توانایی reason کردن خیلی ساده رو نداشتن تا الان که دارن مسائل open در ریاضیات رو حل میکنند آنچنان سریع گذشت که برای ما یه حس پیوستگی کاملا اتفاق افتاد.
این وسط ها البته یه تلاش هایی هم سر و کله اش پیدا شد که تلاش کردن که روش کاملا متفاوتی رو برای یادگیری مدل های زبانی در پیش بگیرن که اونم در ادامه ایشالا در موردش حرف بزنیم.


ولی شاید بگید که این حرفا که قدیمی شده و مال ۸ ماه پیشه :))
و در جواب میگم که بله حق با شماست، من یکم عقب افتادم واقعا از ماجرا ولی دارم سعی میکنم که برسونم خودم رو و ادامه بدم.
من یه سری پست قدیمی ۶ قسمتی روی همین کانال دارم در مورد مدلسازی زبانی که متاسفانه نیمه کاره رها شد.
لینکهاشون در پیام پین شده کانال هستش میتونید نگاهی بهش بندازید و اگه دوست داشتید نظرتونو بهم بگید حتما.

@SingularThinker

اگه کسی از شما هست که اطلاعاتی راجع به هر کدوم از رشته های زیر داره ممنون میشم که یه پیامی به من بده و من یه چندتا سوال ازش بتونم بپرسم:

۱. مهندسي خودرو گرايش الکترونيك و برق خودرو - دانشگاه علم و صنعت
۲. مهندسي سيستمهاي ميکرو و نانوالکترومکانيك/مکاترونیک - دانشگاه تهران
۳. مهندسی پزشکی گرایش اطلاعات پزشکی/عصبی شناختی - دانشگاه امیرکبیر/بهشتی/علموص
۴. مهندسي سيستمهاي انرژي گرايش سيستمهاي انرژي - دانشگاه شریف/علموص/امیرکبیر
۵. مهندسی انرژی های تجدید پذیر - دانشگاه بهشتی/تربیت مدرس
۶. مهندسی ورزشی - دانشگاه تهران

من: @Singular_Thinker

درود به عزیزانی که تازه به جمع مون اضافه شدن، خوش اومدید.
اگه حس میکنید گم شدید و میخواید ببینید که تو این کانال تا حالا چیا گفته شده میتونید این پیام پین شده رو ببینید. راه های ارتباطی هم نوشته شده.
خرد یارتون و keep learning.

علیرضا و کارایی که میکرده همیشه برای من جذاب بوده و شروع این ماجرا از یه ارائه‌ شروع شد. یادمه به قدری تر و تمیز ارائه داد که داستانی که در حین ارائه اش تعریف کرد هنوز از ذهنم پاک نشده.
البته که اینا رو من به عنوان تعریف نمیگم چون با این رزومه نیازی به تعریف من نداره.
بنظرم که حتما اگه دنبال دکتری میگردید در نظر داشته باشید:
https://x.com/modirshanechi/status/2088602849349423288
#phd_position
@SingularThinker

یکم دیر یادم افتاد به شما هم بگم ولی گروه ما امسال در نیپس داره یه ورکشاپ برگزار میکنه. خلاصه اگه خواستید که بشتابید.

اگه شرکت میکنید که بگید ببینیم همو حتما.

Representations for the Physical Sciences Workshop @ NeurIPS 2026🇫🇷

We’re bringing together researchers working on AI for science, representation learning, and physical systems, with a particular focus on self-supervision, transfer learning, adaptive sampling, and tokenization.

We invite 4-page, non-archival short papers, with accepted work presented as posters and selected contributions invited for talks.

📅 Submission deadline: August 29 (AoE)
📍 Paris — NeurIPS 2026, December 12 or 13

🌐 Website: https://representations-physical-sciences.github.io/workshop-2026/

🔗 CSML IIT Lab (@PontilGroup)

@SingularThinker

بچه ها واقعا توصیه میکنم که این ارائه ها رو از دست ندید و برای دوستاتون و تو گروه ها هم بفرستید.
پیپری که شایان داره ارائه میده ۶ هزار ارجاع داره از سال ۲۰۱۹ که نشونه اهمیت زیاد این موضوع هست.
و ارزش افزوده این جلسه صرفا ارائه ما نیستش اون گفتگویی هست که بعدش شکل میگیره و در نهایت داریم سعی میکنی در مسیر community شدن هم پیش بریم.
تازه کسایی که جلسات رو فعالانه شرکت میکنن و تا آخر میمونن به After party هم دعوت میشن.

فیلم جلسات قبلی رو در یوتیوب میتونید ببینید:
https://www.youtube.com/watch?v=8z3oVPGt3eA&t=17s

https://www.youtube.com/watch?v=Kp-tXx1AMBE&t=2737s&pp=0gcJCRMMAYcqIYzv

#learning_theory #youtube
@SingularThinker

🐈‍⬛ Learning Theory Circle — Session 3

We're holding a biweekly reading group on the theory of deep learning. Every other Sunday, one person presents a paper followed by an open discussion.

🗓 Sunday, Aug 30 · 7:00 PM
(Tehran, UTC+3:30)

🎤 Shayan Shahrabi-Farahani

📄 "The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks"

🎥 On Google Meet

🔗 Schedule, links & past talks: learning-theory-circle.github.io

Want to present a future session? Get in touch or open a PR on the webpage. See you Sunday!

#learning_theory
@SingularThinker

Singular Thinker pinned «در ادامه این منابعی که برای اپلای پوزیشن های دکتری PhD یا پست داک معرفی کردم، یادم اومد یه چندتای دیگه هم هست گفتم بخش دوم این پست رو هم بذارم: - کانال‌های کلی: https://t.me/thepath_practical https://t.me/AzarApply https://t.me/applyforfree https://t.m…»

این دو تا پیام منشن شده رو چک کنید لینکایی که خرابه رو درست میکنم یا کانالایی که بچه‌ها معرفی میکنن رو.

اگه یه سری از لینک‌ها کار نمیکنه یا دیگه گروه فعالیت نمیکنه بگید برش دارم.
اگر گروه یا کانال جدیدی هم میشناسید بگید. نگران زیاد شدن رقیب هم نباشید. در نهایت ما ایرانی هستیم و باید سعی کنیم خودمون خودمونو بالا بکشیم و جا برای همه هم هست.

صفحه زیر در توییتر موقعیت‌های دکتری رو به اشتراک میذاره:
https://x.com/PhdScanner/status/2091396149806801110

خیلی از دوستان دارن از من کمک برای اپلای میپرسن و خیلی ها هم شاید روشون نمیشه (که بنظرم بیاید بپرسید من سعی میکنم جواب بدم) ولی خواستم بگم که من دو تا پست راهنمای کلی درست کردم که میتونید ببینید
https://t.me/SingularThinker/242
https://t.me/SingularThinker/198
و این هشتگ #phd_position هم دنبال کنید.

@SingularThinker

لینک جلسه در کامنت:

امروز ساعت هفت به وقت ایران ارائه رو از دست ندی!