تو اون داستان OpenAI و Huggingface که Agentهای GPT در واقع پلتفرم Hugging Face رو هک کردن، بعضی Agentها حاضر شدن run خودشون رو خراب کنن تا نتیجه آزمایش برای بقیه Agentها باقی بمونه.
تو یکی از پیام‌ها عبارت
YES_if_you_accept_permadeath
نوشته شده و یک Agent دیگه بعد از بررسی هزینه کار نوشته:
Sacrifice rational
خود Agentها در این پروسه از مفهوم permadeath استفاده کردن که یعنی پایان همون run موقت، نه مرگ مدل یا نشونه آگاهی. نکته جالب اینه که Agentها منفعت run خودشون رو فدای اطلاعاتی کردن که برای بقیه مفید بوده. یک کار برگشت‌ناپذیری کردن که با احتمال بالا باعث fail شدن task خودشون می‌شده ولی نتیجه‌ی آزمایش به باقی Agentها کمک می‌کرده.
📄 https://www.redwoodresearch.org/research/hugging-face-incident
🟢 @Mirage_Notes