Бар Никса! 🍺

Вышел новый интересный пост о том как я создал качественный микросервис комментариев на Rust, очень интересный и информативный пост, возможно узнаете что-то новое и интересное, даже если вы не бэкендер 😜💻

@nicsbar

А теперь, как найти девушку используя Rust?

В 2021 году, помню как играл в Minecraft и просто общался со своими знакомыми и друзьями с дискорде, каждый день мы играли и веселились. И помню что когда то встретил игрока с ником feqt и мы переодически с ним играли, затем я бросил эту игру и в 2022 году начал свой путь в айти. Примерно спустя полгода/год, когда я уже стал джуном и уже имел свою медийку, этот человек, а именно Артур, перешел в мои социальные сети через Discord, ему на тот момент было 14 лет. Он посмотрел всю мою историю и решил для себя, что он станет разработчиком. И начиная с 1 октября, 2023 года. Он начал вести записи в Vk, день за днем, неделя за неделей, месяц за месяцом он не останавливался и продолжал учиться. Я помогал ему советами и чем смогу, чтобы он не совершал моих ошибок в прошлом. Я верил в него и никогда не сомневался в нем, я знал что он станет отличным разработчиком.

Его сила воля поражает.

Честно не могу передать словами как я восхищен тем, как он в 14 лет имел и имеет такую решимость и такую силу, чтобы справляться с трудностями в этой сфере. Он знал что ему будет тяжело найти работу в силу возраста, но он все равно никогда не сдавался. Он писал код на очень слабом компьютере и из-за этого часто сталкивался с неудобствами. Но он все равно продолжал учиться и работать. Через какое то время он нашел свою первую работу, где то его кидали а где то всё было хорошо. Он постепенно копил деньги на то, чтобы купить macbook чтобы было легче продолжать карьеру в айти.

И вот, с того момента когда он начал, прошло ровно 522 дня… Я в шоке с того через что он прошел. Сейчас ему 15 и он смог осуществить свою важную цель.

Но это только начало. Я уверен, что он достигнет больших успехов, я знаком с ним примерно 4 года и знаю насколько он силен. Я хочу всем сказать, что я очень рад за него, и очень горжусь им. Надеюсь эта история поможет и вам, решится или просто даст новые силы. Поддержите его, в его телеграм канале «Обитель трагедии» @monastery51

Артур, ты красавчик и ты реально очень крут. 😎😜💻🥳🥳🥳

День 310 | Разработка социальной сети
(Переписывание бэкенда с Nest.js на Rust)

Хай всем! Я закончил микросервис постов с умной системой рекомендацией использовав Machine Learning на Python 👩‍💻
Такого вообще не было в прошлом бэкенде. Я думаю вам будет оченнннь интересно это прочитать 💻

Вообще по началу я думал что всё смогу все сделать спокойно все на расте, и действительно я сделал систему рекомендаций чисто на расте, но была проблема что она работала как-то криво, не до конца учитывала всё и не давало мне постоянно новые посты. В итоге я понял что похоже мне надо использовать Python. Потому что это самое оптимальное решение для систем рекомендаций, потому что питон справляется с этим очень хорошо засчет мощных пакетов, в итоге я реализовал гибридную систему рекомендаций, которая использует несколько подходов о которых я вам сейчас расскажу:

1. Семантический поиск:
Я решил использовать модель all-MiniLM-L6-v2 от Sentence Transformers для создания эмбеддингов текстов. Когда пользователь создает пост, начинается преобразование его текст в 384-мерный вектор. Эти векторы хранятся в Postgres 👩‍💻 с помощью расширения "pgvector" (мощное расширение). Для них написал миграции и положил их в post микросервис.

(Для каждого поста находятся 10 самых похожих постов, используя косинусное расстояние между векторами)

2. Интересы пользователя:
Я сделал отслеживание по тегам и хэштегам, которые нравятся пользователю. Каждому тегу присваивается вес на основе взаимодействий пользователя. При формировании ленты, посты с тегами, интересными пользователю, получают более высокий рейтинг

2. Коллаборативная фильтрация:
Сделал анализатор лайков пользователя. Нахождение похожих постов на те, что понравились пользователю, это помогает рекомендовать контент со схожей тематикой

3. Вирусность и продвижение (как в тиктоке):
Сделал учёт количества просмотров, лайков и добавлений в избранное. Посты с высокой виральностью получают временный буст в рекомендациях (и это пздц как классно) тоесть у каждого контент мейкера даже с новым аккаунтом есть возможность попасть в реки если ему кнш повезет. +Он будет оставаться в рекомендациях в промежутке от 1 до 30 дней, на разное кол-во пользователей. Есть система промоушена для важных постов

4. Финальный рейтинг поста рассчитывается по формуле:
(interest_score * 0.4 + similarity_score * 0.3 + viral_score * 0.3) * RANDOM()

Где:
interest_score - насколько пост соответствует интересам пользователя.
similarity_score - насколько он похож на посты, которые нравятся пользователю.
viral_score - показатель виральности поста.
А RANDOM() нужен для разнообразия рекомендаций.

Наверное вопрос, как я построил архитектуру?
У нас есть "post" микросервис который имеет http ручки в controller.rs и его логика с бд в service.rs. Для того чтобы получать данные из питона я написал микросервис "ml" тоесть Machine Learning, там я поднял всё на grpc, написал proto быстренько и написал ручку для получения embedding. Все микросервисы post и ml общаются между собой через grpc что делает это ОЧЕНЬ быстрым в 2+ раза

Забыл сказать, я так же реализовал ручку с гет запросов для получения старых/новых постов, или постов от друзей/подписчиков. И другие круд операции по типу получения поста по айди, создание поста, редактирование поста. Добавил грамотную валидацию и безопасность по проверке на автора

Я прошёл через очень многое кол-во ошибок и было очень тяжело все эти 4 дня, но я наконец-то реализовывал грамотную систему рекомендаций и систему продвижения для контент мейкеров на хорошем уровне в кратчайшие сроки. Осталось сделать грамотную оптимизацию на редис за пару часов и можно приступать к созданию микросервиса "comment"

Всем спасибо за ваше время которое вы отдали на прочтение этого поста, я действительно очень рад что смог управится с этим так быстро, естественно в будущем будут правки в этой системе рекомендаций в бета-тесте, но я это всё сделаю гораздо быстрее потому что уже будет некий "фундамент" и опыт под ногами

Удачи 😜💻