DevOps

🖥 Paramiko — библиотека, реализующая протокол SSHv2 на языке Python!

🌟 Эта библиотека предоставляет функциональность как для SSH-клиентов, так и для серверов, включая такие возможности, как удаленное выполнение команд и безопасная передача файлов. Она используется как основа для более высокоуровневых инструментов, таких как Fabric, которые предназначены для автоматизации задач администрирования серверов.

🔐 Лицензия: LGPL-2.1

🖥 Github

@devopsitsec

🌟 Marco-o1: модель рассуждений от Alibaba.

Marco-o1 – LLM, файнтюн-версия Qwen2-7B-Instruct для решения сложных задач, требующих рассуждений. В создании модели использовались методики Chain-of-Thought (CoT), поиска по дереву Монте-Карло (MCTS) и уникальные стратегии регулирования действий при рассуждении.

Marco-o1 обучалась на 3 датасетах: отфильтрованный набор данных Open-O1 CoT, синтетический набор Marco-o1 CoT и собственный набор инструкций Marco.

В модели реализованы 2 стратегии действий: "шаг как действие" и "мини-шаг как действие" (32 или 64 токена соответственно). Мини-шаг как действие обеспечивает более детальное исследование пространства решений.

В Marco-o1 был внедрен механизм рефлексии, который побуждает модель переосмысливать свои рассуждения, что улучшает результаты инференса, особенно в сложных составных задачах.

Модель оценивалась на наборах данных MGSM (английский и китайский). Результаты показали, что Marco-o1 превосходит Qwen2-7B-Instruct и демонстрирует улучшение точности на 6,17% для английского набора данных и 5,60% для китайского. Модель превзошла Google Translate в задачах языкового перевода, особенно при переводе разговорных выражений.

В ближайших планах:

🟠Обучаются версии модели вознаграждения за результат (ORM) и вознаграждения за процесс (PRM).
🟠Reinforcement Learning: обучение с подкреплением для совершенствования рассуждений.

▶️Установка и локальный инференс:

# Clone the repository
git clone https://github.com/AIDC-AI/Marco-o1

# Change to the Macaw-LLM directory
cd Marco-o1

# Install required packages
pip install -r requirements.txt

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("AIDC-AI/Marco-o1")
model = AutoModelForCausalLM.from_pretrained("AIDC-AI/Marco-o1")

# Run Inference
./src/talk_with_model.py

📌Лицензирование: Apache 2.0 License.


🟡Модель
🟡Версии GGUF
🟡Arxiv
🟡Датасет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #CoT #Alibaba #MarcoO1

🔍 WatchYourLAN — это легковесный IP-сканер для локальной сети с веб-интерфейсом, который уведомляет о появлении новых устройств в сети и отслеживает их статус (онлайн/офлайн). Он поддерживает отправку данных в InfluxDB для создания дашбордов Grafana и может быть настроен с помощью Docker.

🌟 WatchYourLAN полезен для мониторинга подключенных устройств и доступен без встроенной аутентификации, однако можно интегрировать авторизацию через сторонние инструменты.

🔐 Лицензия: MIT

🖥 Github

@devopsitsec

➡️ Тесты не будут падать, если их не запускать

Знакомо? Тогда ждём вас на вебинаре «Автоматизация процессов деплоя и интеграция автотестов» от учебного центра Слёрм.

🔹Рассмотрим специфику CI/CD пайплайнов для сборки и деплоя в Kubernetes
🔹Разберёмся в тестировании собираемого артефакта перед размещением его в registry
🔹Расскажем, как автоматически задеплоить в кластер уже собранный и оттестированный артефакт
🔹Реализуем полноценный CI/CD пайплайн со сборной тестированием и деплоем на примере Gitlab-CI

Эксперт встречи: Денис Лавров, Архитектор MTS AI

Когда: 27 ноября в 18:00 мск
Занять место на вебинаре ➡️ через бота

Реклама ООО «Слёрм» ИНН 3652901451

🥷 trufflehog — инструмент для поиска, проверки и анализа утечек учетных данных и конфиденциальной информации. Он сканирует репозитории на наличие таких данных, как API-ключи и токены, в истории коммитов, файлах и других местах

🌟 TruffleHog поддерживает интеграции с различными хранилищами, включая GitHub и GitLab, что делает его полезным для обеспечения безопасности кода и предотвращения утечек

🔐 Лицензия: AGPL-3.0

🖥 Github

@linuxkalii

Почта на прокачку: как повысить защиту Microsoft Exchange и не слить чувствительные данные в сеть

⏰ Когда: 27 ноября, 11:00 по Москве
📍 Регистрируйтесь на вебинар!

SuperHardio time*! Чтобы узнать, как захардкорить самое ценное и построить настоящий лабиринт для хакера, присоединяйтесь к нашему новому образовательному проекту от ИТ-экспертов Positive Technologies.

В программе:

- Что не так с типовой настройкой Microsoft Exchange 2019

- Топ-3 сценария уязвимостей

- Как ИТ-специалисту справиться с бременем ответственности за корректную работу почтового сервиса.

- Поговорим про харденинг Microsoft Exchange 2019 и особенности подхода к повышению киберустойчивости

Вебинар будет полезен архитекторам, CIO, СТО, DevOps-экспертам и техническим специалистам разных профилей. Присоединяйтесь!

*Это как "Марио тайм", время героев-экспертов харденинга

💻 kube-startup-cpu-boost от Google — контроллер для Kubernetes, который временно увеличивает запросы и лимиты CPU во время старта рабочих нагрузок. Это помогает приложениям быстрее запускаться в контейнерах, выделяя дополнительные ресурсы в критический момент. После инициализации ресурсы возвращаются к обычным значениям.

🔐 Лицензия: Apache-2.0

🖥 Github

@devopsitsec

Приглашаем разработчиков и всех, кто интересуется облачными технологиями, на митап по Go от MWS. Расскажем, как мы строим облачную платформу с нуля и какие технологии используем.

Когда: 22 ноября, 18:00
Где: кинотеатр «Победа», ул. Ленина, 7, г. Новосибирск

В программе:
— Биллинг в облаке: опыт MWS и решение проблем миграции в продакшене
— Тестирование Managed Kubernetes: от основ до продвинутых практик с Ginkgo
— EBPF & Go: как писать код для ядра безопасно

Встречаемся в кинотеатре. После докладов вас ждут общение в неформальной обстановке, напитки и еда.

Регистрируйтесь по ссылке.

👣 RelaxSearch — это легкий, демонстрационный проект поисковой системы, созданный с помощью Go и Elasticsearch!

🔍 Он состоит из двух основных компонентов:

🌟 RelaxEngine: веб-скрейпер, который периодически индексирует контент с заданных URL с помощью cron-заданий и сохраняет его в Elasticsearch.

🌟 RelaxWeb: API-сервер, который предоставляет возможность полнотекстового поиска по проиндексированным данным.
Цель проекта — продемонстрировать основы создания поисковой системы.

💡 RelaxEngine выполняет веб-скрейпинг и индексацию данных, а RelaxWeb предоставляет REST API для поиска по этим данным с поддержкой фильтрации, пагинации и выделения ключевых слов.

🔐 Лицензия: MIT

🖥 Github

@devopsitsec

🖥 nginx-ui — это интерфейс , созданный с использованием Go и Vue.js, предоставляющий веб-панель для упрощённого администрирования серверов Nginx!

🔍 Функции:

🌟 Мониторинг серверных показателей: сбор статистики по CPU, памяти, загрузке, использованию диска и логам Nginx в режиме реального времени.

🌟 Редактирование конфигураций Nginx: возможность управлять конфигурациями через встроенный редактор блоков или редактор кода с подсветкой.

🌟 Обновление и тестирование: автоматическое тестирование и перезагрузка конфигураций после внесения изменений!

🌟 Дополнительные возможности: тёмная тема, поддержка разных языков, чат-бот, интеграция с сертификатами Let's Encrypt и терминал для выполнения команд на сервере!

🔐 Лицензия: AGPL-3.0

🖥 Github

@devopsitsec

👩‍💻 lumen — это инструмент командной строки, который использует ИИ для генерации сообщений о коммитах, обобщения различий git или прошлых коммитов и многого другого без необходимости использования ключа API!

🔐 Лицензия: MIT

🖥 Github

@devopsitsec

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://t.me/gamedev

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

🖥 Этот репозиторий содержит проект для запуска операционной системы Windows внутри контейнера Docker!

🌟 Этот подход интересен для экспериментов с контейнеризацией Windows и тестирования приложений в изолированной среде, хотя сам Docker официально не поддерживает полноценный запуск Windows в контейнере.

🔐 Лицензия: MIT

🖥 Github

@devopsitsec

👣 otel-tui — инструмент для просмотра данных OpenTelemetry в терминале!

🌟 Он поддерживает форматы OpenTelemetry, Zipkin (трейсы) и Prometheus (метрики). Этот инструмент позволяет получать, фильтровать и отображать информацию о трассировках, метриках и логах в текстовом пользовательском интерфейсе (TUI). Поддерживается запуск через Docker, Docker Compose и установка на различных системах.

🔐 Лицензия: Apache-2.0

🖥 Github

@devopsitsec

Как сделать работу в контейнерных средах безопасной?

Узнайте на бесплатном вебинаре «Защита контейнерных сред с помощью Policy Engine и Service Mesh» от СберТеха.

Обсудим риски работы в контейнерных средах и вклад Policy Engine и Service Mesh в обеспечение безопасности кластеров Kubernetes (на примере open source решений и линейки российских продуктов Platform V Synapse от СберТеха).

Разберем темы:

• Контейнерные среды в рантайме: защита на уровне реестра, оркестратора и контейнеров.
• Policy Engine и его роль в управлении политиками безопасности и конфигурациями.
• Знакомство с Kubelatte и возможностями по мутации, валидации и генерации объектов Kubernetes.
• Service Mesh для безопасности трафика, включая шифрование, контроль конфигураций приложений и кластеров, мониторинг состояния кластеров.
• Преимущества решений Platform V Synapse по сравнению с open source.

Спикер: Максим Чудновский, главный руководитель направления Platform V Synapse, СберТех.

Вебинар пройдет 19 ноября в 11:00.

Регистрируйтесь по ссылке!

🖥 50 вопросов для подготовки к собеседованию по Docker!

🌟 Вопросы охватывают основные концепции Docker, включая образы, контейнеры, Docker Compose, Docker Swarm, а также использование Docker в DevOps и микросервисной архитектуре!

🔗 Ссылка: *клик*

@devopsitsec

Какие планы на 19 ноября? Приходи на OPS Talk в офис Сбера!
 
Открылась регистрация на митап для инженеров сопровождения и DevOps-специалистов «OPS Talk by Sber: от разработки до инцидента».

Вместе со спикерами из Сбера, СберТеха и HFLabs поговорим о сопровождении IT-систем, DevOps- и SRE-практиках в уютном офисе на Кутузовском проспекте, а также онлайн в прямом эфире.
 
В программе 3 доклада, интерактивы и подарки, пицца-брейк, много новых знакомств и общения!
 
👉🏻Подробная программа и регистрация – здесь.
 
И поторопись – количество очных мест ограничено!