Python Lounge: работа и стажировки для программистов

Анализ данных с помощью pandas.
Часть 6: работа с загрязненными данными

Главная проблема загрязненных данных: понять, они загрязнены или нет?
Используем данные NYC 311 service request из одной из прошлых статей, так как их много и они неочевидны.

Погнали уже кодить!

Анализ данных с помощью pandas.
Часть 5: ищем самый снежный месяц

Мы уже видели, что pandas хорошо умеет обращаться с датами.
Но он также хорошо умеет работать со строками!
Возьмём наши данные из предыдущей части.

Анализ данных с помощью pandas.
Часть 4: объединение нескольких dataframe

В конце этой части, мы загрузим данные о погоде в Канаде за весь 2012 год, и сохраним в CSV файл.
Мы сделаем это, загрузив каждый месяц в отдельности, а затем сгруппировав все месяцы вместе.

Анализ данных с помощью pandas.
Часть 3: объединение и группировка данных

Эта часть показывает способы группировки, объединения и дополнения данных.

Анализ данных с помощью pandas.
Часть 2: Выбор данных и нахождение наиболее частых жалоб

В этой части мы будем использовать новый набор данных, чтобы показать, как быть с большими объёмами данных.
Это данные о 311 сервисных запросов (или жалоб) жителей, предоставленные NYC Open Data.

Анализ данных с помощью pandas.
Часть 1: Чтение данных из csv файла

Продолжаем работать с pandas.
Эта часть показывает способ обработки данных, хранящихся в формате csv, а также построение простейших графиков.

​​Приветствую всех!
Сегодня мы познакомимся с историей создания Python.

Разработка языка Python была начата в конце 1980-х годов сотрудником голландского института CWI Гвидо ван Россумом.
Для распределённой ОС Amoeba требовался расширяемый скриптовый язык, и Гвидо начал писать Python на досуге, позаимствовав некоторые наработки для языка ABC (Гвидо участвовал в разработке этого языка, ориентированного на обучение программированию).
В феврале 1991 года Гвидо опубликовал исходный текст в группе новостей alt.sources.
С самого начала Python проектировался как объектно-ориентированный язык.

3 декабря 2008 года, после длительного тестирования, вышла первая версия Python 3000 (или Python 3.0, также используется сокращение Py3k).
В Python 3000 устранены многие недостатки архитектуры с максимально возможным (но не полным) сохранением совместимости со старыми версиями Python.
На сегодня поддерживаются обе ветви развития (Python 3.x и 2.x), но поддержка Python 2.7 заканчивается в 2020 году.

Итак, мы узнали на чуточку больше про Python!

Python позволяет перегружать множество различных операторов, и оператор shift является одним из них. Вот пример того, как создать композицию функции с помощью этого оператора. Здесь эти знаки показывают направление потока данных:

 collections import deque
from math import sqrt


class Compose:
    def __init__(self):
        self._functions = deque()

    def __call__(self, *args, **kwargs):
        result = None
        for f in self._functions:
            result = f(*args, **kwargs)
            args = [result]
            kwargs = dict()
        return result

    def __rshift__(self, f):
        self._functions.append(f)
        return self

    def __lshift__(self, f):
        self._functions.appendleft(f)
        return self


compose = Compose


sqrt_abs = (compose() << sqrt << abs)
sqrt_abs2 = (compose() >> abs >> sqrt)

print(sqrt_abs(-4))  # 2.0
print(sqrt_abs2(-4))  # 2.0

Анализ данных с помощью pandas.
Часть 0: введение, jupyter (ipython)

Цель этого цикла статей - дать конкретные примеры использования pandas.
pandas - это Python библиотека для анализа и обработки данных.
Она действительно быстрая и позволяет вам легко исследовать данные.

Скобки необходимы для создания генератора понимания:

 g = x**x for x in range(10)
  File "<stdin>", line 1
    g = x**x for x in range(10)
               ^
SyntaxError: invalid syntax
>>> g = (x**x for x in range(10))
>>> g
<generator object <genexpr> at 0x7f90ed650258>

Однако они могут быть опущены, если понимание функции генератора является единственным аргументом для функции:

 list((x**x for x in range(4)))
[1, 1, 4, 27]
>>> list(x**x for x in range(4))
[1, 1, 4, 27]

Это не работает для функции с более чем одним аргументом:

 print((x**x for x in range(4)), end='\n')
<generator object <genexpr> at 0x7f90ed650468>
>>>
>>>
>>> print(x**x for x in range(4), end='\n')
  File "<stdin>", line 1
SyntaxError: Generator expression must be parenthesized if not sole argument

Сегодня мы познакомимся с очень познавательной статьёй, а именно - реализация распознавания изображений в Python.

Мы попробуем создать простого питона-бота, который будет играть в Chrome Dino Game без участия пользователя. Здесь мы не используем какое-либо машинное обучение или искусственный интеллект для противодействия этой проблеме, но мы будем использовать простую обработку изображения/экрана.

Помните мы проводили опрос про наш закрытый чат? Так вот мы почти все подготовили и готовы отобрать первых 50 человек для нашего чата.

Для попадания в закрытый чат канала Python Lounge вам необходимо отправить в личку @progyteam:

1. Имя или ник
2. Пришли 3 проекта, которыми ты гордишься (Ты принимал участие в создании)
3. Уровень, на который ты себя оцениваешь (Junior, Middle, Lead)
4. Что ты хочешь получить от чата? (Новые знания, новые проекты, новые знакомства по всему миру с крутыми прогерами)
5. Уровень владения английским (от 1 до 10, оцени сам)

Мы отберем 50 человек и отправим ссылку на чат в течение 3 дней!
Чат всегда будет бесплатным. Это наш принцип.

Хорошего кода!

Создаём сайт на Django: Часть 1

Я начинаю серию статей, посвященных разработке сайтов на Django.
Django — веб-фреймворк для создания сайтов, написанный на языке Python.
Мы создадим сервис, который фильтрует фриланс-проекты, которые может выполнить Python-программист, а далее показывает нам.

Пишем простой сайт на Python.
Часть 4: Публикация в сети Интернет

В самом начале мы работали с локальном сервером.
Теперь узнаем, как его разместить в интернете.
Мы будем искать виртуальный сервер под наши нужды.

Погнали с нами читать в Яндекс.Дзен, мы уже создали там свой канал.

Приветствую вас, дорогие питонисты и питонистки!

3 часть получилась в формате Instant View, так как пост содержал очень большой код.
Приступаем читать и затем кодить!

Так, кто тут у нас только что проснулся?
Расскажу-ка я вам, с чего начинать обучение Python.

Синтаксис
В первую очередь:

- операции с целыми и вещественными числами;
- типы данных;
- переменные, ветвления, стандартный ввод/вывод;
- логические операции, операции сравнения;
- условия: if, else, elif;
- блоки, отступы;
- строки и символы;
- циклы while, for;
- операторы break, continue;
- установка и подключение модулей;
- списки;
- функции;
- словари;
- интерпретатор: установка, запуск скрипта;
- файловый ввод/вывод.

IDE и редакторы кода

Писать в IDLE или Python Shell удобно только простой код, но для проектов лучше найти интегрированную среду разработки (IDE) или редактор кода.
IDE включает в себя редактор с подсветкой синтаксиса и автодополнением, инструменты сборки, выполнения и отладки и другие функции.
В большинстве редакторов есть подсветка синтаксиса и форматирование, выполнение и отладка кода.
Как правило, этот инструмент работает быстрее IDE, но имеет меньше функций.
Среди самых популярных платформ — PyCharm, Wing IDE, Komodo и другие. Больше вариантов — в нашем обзоре.

Git

С распределенной системой управления версиями (Git) нужно познакомиться в начале обучения.
Среди основных навыков — создание и перемещение файлов в каталогах, инициализация Git-репозитория и создание коммитов, а также настройка репозиториев в GitHub.

Обработка Cookies

Теперь научимся получать cookies.
Они передаются на сервер и доступны в переменной os.environ (словарь, cookies хранятся по ключу HTTPCOOKIE).
Они передаются в виде пар ключ=значение, что не очень удобно при обработке. Для упрощения работы можно использовать модуль http.cookies.

Напишем простой скрипт (/cgi-bin/cookie.py), проверяющий, установлена ли кука, и если нет, устанавливает:

#!/usr/bin/env python3
import os
import http.cookies

cookie = http.cookies.SimpleCookie(os.environ.get("HTTPCOOKIE"))
name = cookie.get("name")
if name is None:
print("Set-cookie: name=value")
print("Content-type: text/html\n")
print("Cookies!!!")
else:
print("Content-type: text/html\n")
print("Cookies:")
print(name.value)

Открываем страницу, запоминаем результат и обновляем страницу.

Не следует хранить в cookies важные данные, и не полагайтесь на выставленный вами срок хранения.
Cookies можно удалить или изменить вручную в браузере.

На этом 2 часть заканчивается.
Завтра будем писать прототип приложения типа "Twitter".

Х5 проводит масштабный контест по машинному обучению, успейте зарегистрироваться!
 
RetailHero - это не одно, а сразу три соревнования и конференция 15 февраля 2020! Разыгрываются 1 600 000 ₽ призовых 💰 
 
Организаторами были подготовлены три задачи, чтобы учесть вкусы самых искушённых участников: 
 
✨ Каким клиентам нужно отправить SMS? 
Вы не раз могли слышать про Uplift моделирование. А теперь - наконец-то можно его попробовать реализовать самим! В этой задаче необходимо подготовить список клиентов, ранжированный по эффективности коммуникации. 
https://retailhero.ai/c/uplift_modeling/ 
 
✨ Какие товары клиент купит в следующий раз? 
Более серьезная задача, где будет еще и немного ML Engineering с условиями еще и по нагрузке на решение. Тут участникам предстоит построить рекомендательную систему и при этом сделать сервис, который выдержит нагрузку. 
https://retailhero.ai/c/recommender_syst… 
 
✨ Как расставить товары по полкам? 
Для любителей Computer Science, алгоритмов и оптимизации, ACM-style задача. Нужно реализовать алгоритм, который сможет найти самую эффективную расстановку товаров. 
https://retailhero.ai/c/shelf_allocation… 
 
Участвовать можно хоть в одном соревновании, хоть в двух, хоть в трёх, на ваш выбор! 🙂 
Можно в команде. А можно в составах разных команд - в каждой задаче в новой команде 👍🏻 
Канал для всех задач в slack ods.ai: https://app.slack.com/client/T040HKJE3/C… 
 
Регистрация на соревнование и конференцию, подробное описание задач на странице Retail Hero: 
https://retailhero.ai/

Сегодня мы пропустим познавательную статейку и начнём разбираться с Cookies.
2/3 часть, вторая половина.

Cookies (печеньки) — небольшой фрагмент данных, отправленный веб-сервером и сохраняемый на компьютере пользователя
Браузер всякий раз при попытке открыть страницу соответствующего сайта пересылает этот фрагмент данных веб-серверу в составе HTTP-запроса.

Отправка печенек осуществляется заголовком Set-cookie:

#!/usr/bin/env python3 print("Set-cookie: name=value; expires=Wed May 18 03:33:20 2033; path=/cgi-bin/; httponly") print("Content-type: text/html\n") print("Cookies!!!")

Например, если сохранить этот скрипт в /cgi-bin/cookie.py и зайти на localhost:8000/cgi-bin/cookie.py, то вам поставится печенька с именем name и значением value.
Срок её хранения до мая 2033 года.

Все эти параметры не являются обязательными.

Вечером попробуем обработать cookies.

В первой части мы научились писать Hello world.
Сегодня мы рассмотрим более сложную вещь - обработку данных форм.

Создадим в нашей папке файл index.html со следующим содержимым:

<!DOCTYPE HTML>
<html>
<head>
<meta charset="utf-8">
<title>Обработка данных форм</title>
</head>
<body>
<form action="/cgi-bin/form.py">
<input type="text" name="TEXT_1">
<input type="text" name="TEXT_2">
<input type="submit">
</form>
</body>
</html>

А в папке cgi-bin/ - файл form.py (обработчик формы)

#!/usr/bin/env python3
import cgi

form = cgi.FieldStorage()
text1 = form.getfirst("TEXT_1", "не задано")
text2 = form.getfirst("TEXT_2", "не задано")

print("Content-type: text/html\n")
print("""<!DOCTYPE HTML>
<html>
<head>
<meta charset="utf-8">
<title>Обработка данных форм</title>
</head>
<body>""")

print("<h1>Обработка данных форм!</h1>")
print("<p>TEXT_1: {}</p>".format(text1))
print("<p>TEXT_2: {}</p>".format(text2))

print("""</body>
</html>""")

Попробуем это в действии.
Запускаем локальный сервер, и переходим на localhost:8000:

Готово, теперь мы научились обрабатывать данные из форм.
Завтра научимся работать с Cookies.