Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё

#ai #ии #сжатиеданных #gpt

Представьте, что вам дают 10 терабайт текста и говорят запихнуть это в файл на 70 гигабайт. Да так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко, и не побайтово, но чтобы по смыслу билось.

Вы бы сказали: «так это же lossy-компрессия, часть данных неизбежно потеряется».

И были бы правы, потому что именно это делает LLM.

Читать статью полностью

Life-Hack - AI