Бот-парсер телеграм-каналов

[wasjawojasja]

Предпосылки

Сейчас стало популярным отлавливать админов популярных телеграм-каналов.

Часто сам канал представляет мало ценности, т.к. подписчики за один вечер мигрируют на новый канал, покидая старый, когда появляется новость о захвате канала фашистами.

Но в оригинальном канале может быть достаточно много полезной информации, которую не хотелось бы терять. Речь идёт не про популярные новостные каналы уровня Нехты, их парсить толку не много — там много непроверенных вбросов. Но есть каналы, на котором люди пишут либо качественную аналитику, либо какое-то своё мнение, либо что-то ещё — каналы типа Миколая Дзядка, медиков, водителей и т.д.

Алгоритм

1. Бот-парсер мониторит канал на предмет новых публикаций (достаточно даже раз в сутки, где-нибудь глубокой ночью) — это и проще, и по ресурсам, и если публикацию правят потом, то чтобы свежая версия была. Вряд ли спустя дни кто-то старые записи правит — всё равно никто этих правок уже не заметит.

2. Новые публикации копируются в формат md-файликов (с форматированием, если это возможно, и без, если не возможно — всё равно толку от него не много) на сервере.

Медиа

• Можно без картинок и видео только текст мало места займёт,
• Можно с картинками и видео — они всё равно сжимаются, никто не постит 4К в 120 FPS, там за месяц наберётся хорошо если пару ГБ.

Организация в репозитории

• Можем сразу складывает в отдельный репозиторий где-нибудь на гитлабе (тут не нужна помощь волотнёров, а лимиты там выше), или вообще на нашем серваке (какой-нибудь gitea) — это вопрос вторичный.
• Можем иметь отдельный репозиторий на каждый канал (известных полезных каналов не настолько много — нам не нужны Нехта или там что-то такого уровня, нужны именно маленькие, но полезные каналы),
• либо в один репозиторий всё это лить по разным папкам — зависит от объёмов.

Разные проще, наверное.

Публикация на сайт

На сервере отдельный пользователь, которому присовен свой gpg-ключ, которым он и по ssh ходит и коммиты подписывает — таким образом мы будем знать, что эти публикации в телеграм-канале действительно такими и были: когда канал захватывают, то могут уже модифицировать контент, а историю гит-репозитория попробуй модифицируй, да цифровую подпись подделай в прошлом.

Сейчас у нас уже настроена система, которая парсит существующие репозитории и отображает их на сайте.