🚂️️️️ Сделал парсилку новостей об AI и теперь LLMки сами для меня фильтруют бестолковые новости про них самих

Короче, недавно @sagos95 (вы его можете помнить по нашему совместному докладу про RAG) пожаловался на кучу нейро-говно-новостей и что ее тяжело разгребать.

Попросил Саню собрать источник говна в папку и дать мне почитать. Там оказалось вот столько канальчиков:

JimmyNeiron,bitten_ai,neuraldvig,olya_tashit,aiaiai,neyr0graph,tearevo,denissexy,How2AI,NeuralShit,neuronuts,neurohub,kisel_ai,neiro_sketch,CGIT_Vines,strangedalle,derplearning,ai_newz,art_design_ai,aifilmmaker

Аж 21 канал! Как ни крути – очко! 😳

Ну что ж, поплевал на руки и решил бить говно его же оружием.

Поэтому на выходных закурсорил скриптос, который запускается в Github Actions каждые три дня и присылает саммари по всем каналам ко мне в сохраненные сообщения (пока не знаю куда еще это слать, а Санчез что-то не загорелся жела).

Тут сошлись все звезды:

1️⃣ Я хотел потыкать крусор на более маленьком проекте. В итоге – весь репозиторий набросал в курсоре. От первого коммита до перового результата прошло 57 минут.

2️⃣ Телега недавно выпустила userAPI, которое позволяет автоматизировать работу от вашего имени. То есть бот будет ходить как бы под вашим аккаунтом, что и позволяет удобно читать контент каналов. Раньше для этого нужно было с бубном танцевать. (оказалось, что выпустила давно, я просто с еще каким-то релизом перепутал)

3️⃣ OpenAI выпустили новую модельку, которая вмещает миллион токенов. Как раз тот размер, который подойдет для разгребания такого инфо-потока. (Кстати, эти суки генерят столько говна, что за одно саммари сжирается 10 центов)

Результат получился в итоге как в сообщении выше (рабочая демка йопта!).

🅰️ Посмотреть код можно тут. Работает через typescript, который не знаю почему, привык использовать в таких штуках.

😱 А также! вы можете форкнуть проект к себе и настроить его на парсинг своих каналов.

Пока надо будет самому ручками прописать секреты, но у меня есть план сделать эту штуку чуть более юзер френдли, чтобы можно было делать себе несколько подписок с саммари. Получится эдакий нейро-RSS. Кто-то еще помнит про эту штуку?

А еще телега со всеми этими каналами, которые просто перепощивают новости стала удобным парсером – точнее, не нужно ничего парсить, просто находим нужный канал и из него все вычитываем, там уже за нас все распарсили 🤷‍♀️

P.S.: Кстати, оцените злую иронию. Чтобы разобраться в новостях по LLM, которые генерят зачастую с помощью LLM, я взял LLM и попросил написать ее скрипт, который возьмет все новости и запихнет в третью LLM и что-то заставит ее разобраться в сгенеренном нейроговне.

Вот короче, после всего этого кажется, что меня наебали и я просто оплачиваю OpenAI их reinforcement learning! 🤡

P.P.S.: А вообще, я в последнее время тащусь от джоб в GHA. Месяц назад сделал себе штуку, которая следит за курсом валют на платформе, где фрилансерам ЗП платят. Заняло пол часа – экномия деенг моментальная, так как там бывают технические скачки по 2-7 рублей, что как-то непозволительно дохуя, если обменяешь не в тот момент.

Короче, рекомендую GHAшить все подряд. За ценой товара так можно следить, к примеру, итп.