انتروپیک تو تازه‌ترین پروژه‌ی تحقیقاتی‌اش یه روش جدید معرفی کرده که به کاربرها اجازه می‌ده مسیر تصمیم‌گیری مدل‌های زبانی بزرگ رو قدم‌به‌قدم ردیابی کنن. این روش که حالا به‌صورت متن‌باز منتشر شده، از طریق تولید «گراف‌های انتسابی» (attribution graphs) کمک می‌کنه بفهمیم مدل دقیقاً چه مراحلی رو طی کرده تا به یه خروجی خاص برسه. حالا همه می‌تونن با مراجعه به Neuronpedia این گراف‌ها رو بسازن و به‌شکل تعاملی بررسی‌شون کنن.

هسته‌ی این ابزار، یه کتابخونه‌ی متن‌باز به اسم Circuit Tracer هست که قابلیت اجرا روی مدل‌های متن‌باز محبوب رو داره. تو رابط گرافیکی Neuronpedia، می‌شه گراف‌ها رو دید، حاشیه‌نویسی کرد و حتی با بقیه به اشتراک گذاشت. این ابزارها اجازه می‌دن محقق‌ها فرضیه‌هایی مثل نقش یه ویژگی خاص در تصمیم‌گیری مدل رو تست کنن و ببینن تغییر اون ویژگی چه اثری روی خروجی می‌ذاره.

این پروژه توسط دو نفر از شرکت‌کننده‌های برنامه‌ی Anthropic Fellows با همکاری Decode Research توسعه داده شده. ابزار منتشرشده پیش‌تر برای تحلیل رفتارهایی مثل استدلال چندمرحله‌ای و بازنمایی‌های چندزبانه تو مدل‌هایی مثل Gemma-2-2b و Llama-3.2-1b استفاده شده و نتایجش توی نوت‌بوک دمو قابل مشاهده‌ست.

انتروپیک امیدوار‌ه با اوپن سورس کردن این ابزارها، جامعه‌ی گسترده‌تری از محقق‌ها و علاقه‌مندا وارد حوزه‌ی تفسیربذیری مدل‌های زبانی بشن. دریو آمودئی، مدیرعامل شرکت، گفته که سرعت پیشرفت در هوش مصنوعی از درک ما از عملکرد درونی مدل‌ها جلو زده و تحقیق در این زمینه فوریت داره. انتروپیک از همه دعوت کرده با استفاده از این ابزارها، مدارهای جالب‌تری پیدا کنن یا خودشون ابزارها رو توسعه بدن.

@aipulse24