TGViewer
Channel Public Channel
Singular Thinker

Singular Thinker

@singularthinker

We talk about things that find them interesting.
توی این کانال از مطالبی که برامون جذاب باشه حرف
میزنیم، یا مطالب جذاب بقیه رو نشر می‌دیم.
Contact/راه ارتباطی:
@Singular_Thinker
Open in Telegram
Subscribers
1.29K
Photos
494
Videos
28
Links
366

Showing posts older than #1218 · Back to latest

Older Posts 11 shown
Post #1217 703
Singular Thinker 🐈‍⬛ Learning Theory Circle — Session 4 We're holding a biweekly reading group on the theory of deep learning. Every other Sunday, one person presents a paper followed by an open discussion. 🗓 Sunday, Sep 13 · 7:00 PM (Tehran, UTC+3:30) 🎤 Hosein Rahnama…
منتظر حضور گرمتان هستیم🥸
  • ❤ 7
  • 👍 1
Post #1216 784
Singular Thinker Thermodynamics Reveals the Generalization in the Interpolation Regime 1/n 🔗 Link of the paper: https://arxiv.org/abs/2510.06028 In the realm of overparameterized NNs, one can achieve almost zero training error on any data, even random labels, that yield…
راستشو بخواید دوست داشتم خیلی بهتر معرفی کنم ولی الان خیلی دل و دماغ نوشتن ندارم ولی خواستم بگم که من فردا، دوشنبه، ساعت ۱۷ به وقت اروپای مرکزی و ۱۸:۳۰ ایران قراره که در ELLIS reading group مربوط به ریاضیات یادگیری عمیق Math&Efficiency of DL مقاله اخیرمو ارائه بدم. اگه دوست داشتید قطعا خوشحال میشم که ببینمتون.

Reading group: https://sites.google.com/view/efficientml

اینم عنوان و چکیده ی سخنرانی هست که قراره بکنم.

Temperature Paths Reveal Generalization in the Interpolation Regime

Abstract: Overparameterized neural networks can fit both meaningful data and random labels, often achieving essentially zero training error in both cases. This makes the final training error a poor predictor of generalization in the interpolation regime. In this talk, I will present a data-dependent view of this problem based on Gibbs posteriors and Langevin Monte Carlo algorithms using the PAC-Bayes framework. The key idea is to look not only at the final interpolating model but also at the entire temperature path: how quickly the expected training loss decreases as the inverse temperature increases. We show that, for the Gibbs posterior, the PAC-Bayes complexity term admits an exact integral representation as an area under this mean training-loss curve. This area separates true-label learning from random-label memorization and leads to quantitative bounds that track the observed test error in overparameterized neural networks.

ArXiv: https://arxiv.org/abs/2510.06028

Zoom: https://us02web.zoom.us/j/86351793196?pwd=inqIyzuhb6k1P1VqgnMKaVWEr5pbtW.1

@SingularThinker
Google DLMath&Efficiency A public ELLIS reading group exploring the interplay between the mathematical foundations of deep learning and the practical challenge of making ML efficient — from optimization theory to hardware-aware training. Learn more about our topics…
  • 🔥 6
  • ❤ 2
Post #1215 518
Singular Thinker 🐈‍⬛ Learning Theory Circle — Session 4 We're holding a biweekly reading group on the theory of deep learning. Every other Sunday, one person presents a paper followed by an open discussion. 🗓 Sunday, Sep 13 · 7:00 PM (Tehran, UTC+3:30) 🎤 Hosein Rahnama…
چهل و پنج دقیقه دیگه حرکته ها! خواب نمونید!
امروز قراره نفس گیر باشه کار بینش یه hydration break میریم نوشیدنی دم دست بذارید.
  • 🔥 5
Post #1205 723
عجب حکایتی شده
میمم روایتی شده
#meme
@SingularThinker
  • 🤣 11
  • 🔥 2
Post #1204 563
Singular Thinker 🐈‍⬛ Learning Theory Circle — Session 4 We're holding a biweekly reading group on the theory of deep learning. Every other Sunday, one person presents a paper followed by an open discussion. 🗓 Sunday, Sep 13 · 7:00 PM (Tehran, UTC+3:30) 🎤 Hosein Rahnama…
فک کنم لازم نباشه که از اهمیت الگوریتم بهینه سازی SGD صحبت کنم، حسین هم از خوبای SGD تو ایرانه.
بنظرم که این فرصت رو از دست ندین.
  • 👍 5
  • 😍 4
  • 🔥 2
Post #1203 635
🐈‍⬛ Learning Theory Circle — Session 4

We're holding a biweekly reading group on the theory of deep learning. Every other Sunday, one person presents a paper followed by an open discussion.

🗓 Sunday, Sep 13 · 7:00 PM
(Tehran, UTC+3:30)

🎤 Hosein Rahnama

📄 "Convergence Analysis of SGD in Convex Optimization Problems"

🎥 On Google Meet

🔗 Schedule, links & past talks: learning-theory-circle.github.io

Want to present a future session? Get in touch or open a PR on the webpage. See you Sunday!

#learning_theory
@SingularThinker
  • ❤ 9
  • 😍 1
Post #1201 571
NeuroVectors | نیما طلایی این مستند کوتاه، پرتنش ترین پنج روز تاریخ OpenAI رو روایت می‌کنه. پنج روزی که میتونست مسیر این شرکت و شاید حتی مسیر توسعهٔ هوش مصنوعی رو تغییر بده؛ از تصمیم هیئت مدیره برای برکناری سم آلتمن به واسطهٔ نگرانی ها در ارتباط با AI Safety، تا بازگشت دوبارهٔ او به رأس شرکت.
این چند وقت خیلی دوباره OpenAI رفت در صدر اخبار که بخشیش میتونه کاملا تعمدی هم باشه ولی فارغ از این هیاهوها این آقای Sam Altman خیلی عجیب بنظر میرسه.
این مستند ۵ روز تاریخی OpenAI رو روایت میکنه که چی شد که اخراجش کردن و چطوری شد که برگشت و تهشم دعوت میکنه به کمپین علیه OpenAI بپیوندیم:
https://youtu.be/_eYTkvZqbnQ

سرنوشت Open AI به نظرم یکی از اون داستان های سال های اخیر هستش که همه باید بخونیم و خیلی چیزها رو در مورد ما، انسان ها، روشن میکنه.
حالا Antrophic هم بچه پیغمبر نیستن. اتفاقا خودشونم تو همین بازی افتادن ولی داستان OpenAI چون قدیمی تره جالب ترم هست.
@SingularThinker
YouTube You really should, unfortunately, be worried about Sam Altman "You could parachute him into an island full of cannibals and come back in 5 years and he'd be the king." That's how a Silicon Valley legend described Sam Altman at age 22. It was supposed to be a compliment. It also helps explain what might be the most dramatic…
  • ❤ 3
  • 👍 1
Post #1200 668

Forwarded from Intelligent Machines

ویدیوهای ICML 2026 (توتوریال‌ها، ورکشاپ‌ها و ...) به صورت عمومی در سایت ICML منتشر شده. از طریق لینک‌های زیر می‌تونین بهشون دسترسی داشته باشین.

توتوریال Mark Schmidt درباره numerical optimization در طول کنفرانس خیلی مورد استقبال قرار گرفته بود و خیلی از بزرگان توصیه کرده بودن که اگر حتی این تاک رو ندیدن ،اسلایدهاش رو ببینین (در کل یعنی حتما ببینین). حالا خوشبختانه میشه ویدیوی این تاک رو هم دید. اسلایدها رو هم قبلا خودشون در وبسایتشون منتشر کرده بودن. خیلی هم استاد coolای هست و البته میشه گفت از بزرگان فیلد. اگر علاقه داشتید به وبسایتش هم یه سر بزنید.
Is numerical optimization theory irrelevant to machine learning practice in 2026? | Tutorial Link | Slides


بقیه توتوریال‌‌ها و ورکشاپ‌ها رو هم می‌تونین از لینک‌هایی که پایین هست، ببینین.

- لیست توتوریال‌ها
- لیست ورکشاپ‌ها

#Tutorial #Workshop
@Intelligent_Machines
  • ❤ 6
Post #1199 685
من معمولا خیلی اهل خبر خوندن و خبر گذاشتن نیستم ولی گویا هفته پرباری بوده .
اگه شما هم مثل من حس عقب موندگی میکنید اینجا میتونید مشروح اخبار رو ببینید:

https://youtu.be/FluKUJyeYD8?si=qq8b_F4ls_W2YkCu

@SingularThinker
YouTube Did OpenAI actually build AGI? GPT-6 Astra first look CodeRabbit Security protects your code from AI-driven exploits. Get 10 free code scans here: https://coderabbit.link/fireship-010 OpenAI finally announced GPT-6 Astra which they're claiming is AGI... Let's see if that's true. #coding #programming Want…
  • 🔥 5
Post #1198 724
افلاک که جز غم نفزایند دگر
ننهند به جا تا نربایند دگر

ناآمدگان اگر بدانند که ما
از دهر چه می‌کشیم نایند دگر

خیام
#شعر
  • ❤ 15
  • 👎 1
Post #1197 987
The Misgeneralization Mind این کورس از Andrej Karpathy که روی یوتیوب‌اش هست رو اگه علاقه‌مند بودید می‌تونید دنبال کنید https://youtube.com/playlist?list=PLAqhIrjkxbuWI23v9cThsA9GvCAUhRvKZ&si=2UyvigDPhVvv9Usy
منبع خیلی خوب برای یادگیری درون Large language model ها و بقیه
https://youtube.com/playlist?list=PLAqhIrjkxbuWI23v9cThsA9GvCAUhRvKZ&si=2UyvigDPhVvv9Usy

#language_modeling
@SingularThinker
  • ❤ 8
  • 👍 1
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →