⭐️ از دیتاست CodexGlue استفاده شده که شامل کد و توضیحاته.
سه مدل مختلف بررسی شدن: CodeT5، CodeBERT، GraphCodeBERT.
مقایسه کردن که نتیجه وقتی فقط از هوش مصنوعی استفاده می‌کنی چه فرقی داره با روش ترکیبی
🔸 نتایج
🧢 روش ترکیبی دقت بیشتری داشته
🧢 توانسته خطاهای منطقی بیشتری را شناسایی کند
🧢 پیشنهادهای کاربردی‌تر و کم‌اشتباه‌تری داده
🧢 سرعت بررسی هم خوب بوده و زیاد کند نشده
🔸 بحث
⚠️ مدل‌های زبانی در فهم الگوها و ساختارها قوی هستن، ولی ممکنه گاهی اشتباه کنن.
ابزارهای منطقی کمک می‌کنن این اشتباهات کم بشن.
این دو مکمل هم هستن.
البته چالش‌هایی هم وجود داره؛ مثلاً اجرای ابزار منطقی روی کدهای خیلی پیچیده یا زبان‌های پویا ممکنه سخت باشه.
🔸 نتیجه‌گیری
✔️ ترکیب هوش مصنوعی و منطق دقیق، روش بهتری برای بررسی کد ارائه می‌ده.
این روش می‌تونه در ابزارهای واقعی مثل IDEها یا سیستم‌های کنترل نسخه (مثلاً گیت‌هاب) استفاده بشه.
در آینده می‌شه این روش رو برای زبان‌های مختلف یا ابزارهای تعاملی توسعه داد.
خلاصه که برای ریویو کدهاتون فقط از مدل های زبانی بزرگ استفاده نکنید 🙏
Experiments
⭐️ They used a public dataset called CodexGlue (has examples of code + comments).
Tried their system with 3 popular code-understanding models:
CodeT5
CodeBERT
GraphCodeBERT
Compared:
Just using the AI alone
Their combo system (AI + logic)
🔸 Results
✅ The combo system gave more accurate and meaningful reviews
✅ It caught logic errors that pure AI missed
✅ It gave better suggestions for fixing problems
✅ It didn’t slow things down much — still fast
✅ Less false alarms ("this is wrong" when it’s not)
🔸 Discussion
🧢 AI is great at understanding natural language and common patterns.
But AI can hallucinate (make stuff up).
The logic checker acts like a strict teacher who says “Hold on, is this really true?”
Together, they catch more bugs and give clearer reviews.
However, the logic checker can be tricky to set up for messy or dynamic code.
🔸 Conclusion
💡 Smart combo: AI + logic checking makes code review better
💡 Helps catch bugs AI alone might miss
💡 Gives developers clearer and more useful feedback
💡 Could be used in real tools (like GitHub Copilot but smarter)
🔰 @scopeofai | #papers