Data Science | Machinelearning [ru]

⚙️ Инфраструктура для Data-Engineer BI-tools

В этой статье я хотел бы показать куда уходят данные и что с ними происходит, когда пайплайны дата-инженеров заканчивают работу.

Читать...

⚙️ Что такое декораторы в Python и как они работают?

Декораторы — это функции в Python, которые принимают другую функцию в качестве аргумента и возвращают новую функцию с добавленным поведением. Это удобный способ модификации или расширения функциональности без изменения исходного кода функции.

➡️ Пример:

# Декоратор для логирования вызовов функции
def log_call(func):
    def wrapper(*args, **kwargs):
        print(f"Вызов функции {func.__name__} с аргументами: {args}, {kwargs}")
        result = func(*args, **kwargs)
        print(f"Результат: {result}")
        return result
    return wrapper

# Применение декоратора
@log_call
def add(a, b):
    return a + b

add(3, 5)

🗣️ В этом примере декоратор log_call добавляет логирование вызовов и результатов функции add. Декораторы позволяют делать код более модульным и удобным для повторного использования.

🖥 Подробнее тут

⚙️ Умножение троичных матриц для нейросетей

Статья исследует использование троичных значений (-1, 0, 1) в нейросетевых матрицах. Рассматриваются методы хранения тритов с использованием 32-битной арифметики и подходы к их быстрому умножению через оптимизацию памяти.

Читать...

📈 Подборка статей для вашей карьеры

• Пришёл на вакансию дизайнера, а стал питонистом: как IT-специалисты нашли свою первую работу

• На сколько денег может рассчитывать ИТ-предприниматель в разных ветках развития

• Анализ задачи с собеседования в Google: конь и телефонные кнопки

• Быстрый старт в QA Fullstack: чем вооружиться будущему стажеру в Альфа-Банке

• Как убить самоорганизацию в команде: вредные советы для лидера

📝 Подборка вакансий для сеньоров

Data Engineer
• Python, SQL, Apache Airflow, Greenplum, Apache Spark
• от 250 000 ₽ на руки | 1–3 года

Senior Data Scientist (FinTech)
• Python, Pandas, NumPy, SciKit-Learn, PyTorch, TensorFlow, SQL, Теорвер и матстат
• от 300 000 ₽ на руки | Более 6 лет

Senior Data Engineer
• Apache Hadoop, Spark (batch/streaming), Scala, SQL, Parquet, Hive, Kafka, HBase, ClickHouse, PostgreSQL, Airflow, Zeppelin, Jupyter, S3 MinIO
• Уровень дохода не указан | от 5 лет

⚙️ Машинное обучение: Наивный байесовский классификатор. Теория и реализация. С нуля

Статья описывает три основные разновидности наивного байесовского классификатора: мультиномиальный, гауссовский и бернулли. Рассмотрены их теоретические основы, особенности и примеры реализации.

Читать...

📝 Подборка вакансий для мидлов

Data-аналитик
• SQL, Tableau, Amplitude, PostgreSQL
• от 200 000 до 300 000 ₽ на руки | 1–3 года

Data Scientist (генерация графических изображений)
• Python, YOLO8, Stable Diffusion 1.5, OpenCV, RASA, NLP, LLMs
• от 200 000 до 500 000 ₽ на руки | 3–6 лет

Data Scientist (модели PD)
• Python, SQL, Machine Learning, A/B Testing, Risk Modeling
• Уровень дохода не указан | 3–6 лет

⚙️ Что такое @staticmethod и @classmethod в Python, и чем они отличаются?

Декораторы @staticmethod и @classmethod используются для создания методов, которые не требуют экземпляра класса. @staticmethod — это метод, который не зависит от экземпляра или самого класса, а @classmethod получает доступ к самому классу через первый параметр cls.

➡️ Пример:

class MyClass:
    @staticmethod
    def static_method():
        return "Это статический метод"

    @classmethod
    def class_method(cls):
        return f"Это метод класса {cls.__name__}"

# Использование
print(MyClass.static_method())  # Это статический метод
print(MyClass.class_method())   # Это метод класса MyClass

🗣️ В этом примере static_method ничего не знает о классе, в то время как class_method может взаимодействовать с классом, к которому он принадлежит. Используйте их в зависимости от того, нужно ли вам взаимодействие с классом.

🖥 Подробнее тут

⚙️ Пишем свою Diffusion модель с нуля

Статья предлагает разобраться в устройстве Diffusion моделей, их математике и принципах работы. Автор делится простыми объяснениями, примерами кода и результатами генерации изображений на собственной модели.

Читать...

📝 Подборка вакансий для джунов

Младший аналитик
• Python, SQL, Microsoft Excel, Анализ данных, Машинное обучение, Нейронные сети
• от 130 000 ₽ на руки | 1–3 года

Консультант-аналитик [ССД Oracle]
• SQL, Oracle, Английский язык, Аналитика, Системное тестирование
• Уровень дохода не указан | 1–3 года

Инженер данных/Data Engineer в Управление анализа данных
• SQL, Apache Hadoop, Bitbucket, Jira, Confluence
• Уровень дохода не указан | 1–3 года

👩‍💻 Задачка по Python

Напишите функцию, которая принимает текст и возвращает наиболее часто встречающееся слово. Игнорируйте регистр и знаки препинания.

➡️ Пример:

text = "Data science is fun. Science makes data fun, and data makes science better."
print(most_frequent_word(text))  
# Ожидаемый результат: "data"

Решение задачи ⬇️

import re
from collections import Counter

def most_frequent_word(text):
# Убираем знаки препинания и приводим текст к нижнему регистру
words = re.findall(r'\b\w+\b', text.lower())
# Подсчитываем частоту слов
word_counts = Counter(words)
# Возвращаем слово с максимальной частотой
return word_counts.most_common(1)[0][0]

# Пример использования:
text = "Data science is fun. Science makes data fun, and data makes science better."
print(most_frequent_word(text))

✔️ Big Data мертвы, да здравствуют Smart Data

Давайте рассмотрим концепцию Smart Data и выясним, действительно ли Big Data превращаются во что-то более интеллектуальное.

Читать...

🔥 Самые интересные статьи за последние дни:

• о3 теснит программистов? Как OpenAI снова всех удивила

• AI, который всё за нас решит

• Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе

• Обзор на разнообразные интерфейсы Stable Diffusion. Automatic1111 — не одинок

👩‍💻 Генератор случайных паролей с настройками

Напишите функцию, которая генерирует случайный пароль заданной длины. Пароль должен быть сформирован на основе пользовательских требований:

• Использовать ли цифры.
• Использовать ли буквы верхнего и/или нижнего регистра.
• Использовать ли специальные символы.

➡️ Пример:

password = generate_password(length=12, use_digits=True, use_uppercase=True, use_lowercase=True, use_specials=False)
print(password)
# Пример вывода: A1b2C3d4E5f6

Решение задачи🔽

import random
import string

def generate_password(length, use_digits=True, use_uppercase=True, use_lowercase=True, use_specials=True):
if length < 1:
raise ValueError("Длина пароля должна быть больше 0")

# Формируем набор символов
character_pool = ""
if use_digits:
character_pool += string.digits
if use_uppercase:
character_pool += string.ascii_uppercase
if use_lowercase:
character_pool += string.ascii_lowercase
if use_specials:
character_pool += "!@#$%^&*()-_=+[]{}|;:,.<>?/"

if not character_pool:
raise ValueError("Нужно выбрать хотя бы один тип символов")

# Генерация пароля
return ''.join(random.choice(character_pool) for _ in range(length))

# Пример использования
password = generate_password(length=12, use_digits=True, use_uppercase=True, use_lowercase=True, use_specials=True)
print(password)

➡️ Будущее LLM в XS, S, M и других размерах

В статье обсуждаются подходы к обучению ИИ оптимально использовать свои ресурсы: от минимальной мощности для простых задач до максимума для сложных. Разбираем концепции «я не знаю» и запросов помощи.

Читать...

🔎 Подборка зарубежных вакансий

Python developer в ML
🟢Python, PyTorch, FastAPI
🟢Уровень дохода не указан | 3–6 лет

Ai Specialist
🟢Python, Java, C++, TensorFlow, Keras, PyTorch, Excel, Tableau
🟢Уровень дохода не указан | 3–6 лет

Senior QA Engineer (Server Team)
🟢Python, Тестирование, Тестирование back-end, API
🟢Уровень дохода не указан | 3–6 лет

⚙️ Делай задачи «гибкими» для будущего

Пишешь решение, которое идеально подходит для текущей задачи, но через месяц оно уже устарело? Это классика.

👉 Совет: думай на шаг вперёд. Вместо жёсткой привязки к конкретным условиям добавь настройку, сделай код модульным или оставь место для расширения. Так ты сэкономишь время себе и коллегам, когда задача внезапно изменится.

🤔 Будущее LLM: 7 прогнозов на 2025 год

Что нового ждёт языковые модели в 2025 году? Обсудим прогнозы: расширение возможностей ИИ, их внедрение в бизнес и жизнь. Узнайте, чего ожидать и почему Джарвис пока останется мечтой.

Читать...

🔎 Подборка вакансий для лидов

Senior Data Engineer (Python, Spark, SQL)
🟢Python, SQL, PySpark, ETL, ELT, AWS, GCP, Azure, BigQuery, RDS, Azure SQL DB
🟢Уровень дохода не указан | 3–6 лет

Data Domain Leader
🟢SQL, Python, Spark, ETL, Data Architecture, Data Warehousing, Agile, Scrum
🟢до 400 000 ₽ до вычета налогов | более 6 лет

Lead Financial Data Engineer / Analyst
🟢SQL, SSIS, Visual Studio, Microsoft Excel
🟢от 500 000 ₽ до вычета налогов | более 6 лет

🧠 Прогнозы развития ИИ в 2025 году: версия «Ведомости. Технологии»

Статья рассказывает об основных трендах в развитии искусственного интеллекта. Эксперты считают, что ИИ будет двигаться в сторону мультимодальности, гиперперсонализации и автономных систем. Также на рынке будет больше решений с открытым кодом, которые, по словам эксперта из Яндекса, поспособствуют повышению скорости разработки инновационных продуктов и созданию более доступных технологий.

Читать…