Холиварофорум

Анон

Записки начинающего дата сатаниста [учеба][левел-ап][yescomm]

Анону надо где-то отмечать и ставить себе галочку, чтобы мотивировать себя на дальнейшую учебу.
В планах следующее:
1) Питон (в частности следующие библиотеки: scikit-learn, pandas,TensorFlow,PyTorch), пока изучаются только основы питона от гугла на курсере
2) подтянуть необходимую математику: теорвер, статистика, сейчас проходится неплохой курс ([Udemy] Statistics & Mathematics for Data Science in Python [2020, ENG]), только мотивировать себя сложнее, нет заветной галочки в виде полученного сертификата
3) алгоритмы (пока читается "Грокаем алгоритмы", но опять с трудом, нет волшебных галочек)
4) SQL  и базы данных - тут пока все по нулям

Какие глобальные цели анон себе ставит? У анона есть работа, хорошо оплачиваемая, но поскольку анон сидит в чужой стране, то всегда существует риск потерять ее и остаться ни с чем. Теоретически для текущей работы это все анону может понадобиться (в будущем), а в случае поиска новой наверняка пригодится.
Но анону легче учиться и мотивировать себя, когда есть конкретная цель, поэтому в качестве таковой анон поставил себе задачу создания парсера для сайтов с недвижимостью и анализа цен на квартиры. Это тем более актуально, потому что анон думает брать ипотеку.

Еще по мелочи тут будет отмечаться  прогресс по изучению местного языка (анон читает и понимает на нем свободно, но почти не говорит).

Анон

Re: Записки начинающего дата сатаниста [учеба][левел-ап][yescomm]

Сижу сейчас на регулярных выражениях в питоне, и чувствую, что мозги закипают. Вроде просто и понятно, но нужна практика. Каждый пример дополнительно мучаю ChatGPT, он хоть местами и тупой, но простое может решить и что главное объяснить. Это удобно, потому что ему можно задавать самые тупые вопросы и все равно чувствовать свое превосходство 

В тесте даже сделал два задания самостоятельно!

Анон

Re: Записки начинающего дата сатаниста [учеба][левел-ап][yescomm]

Анон, ты большой молодец!

Анон

Re: Записки начинающего дата сатаниста [учеба][левел-ап][yescomm]

Анон, ты большой молодец!

Спасибо!

Тем временем, продолжаю учиться и не могу не проораться. В конце концов, зачем еще этот блог создавался?

Анон только что закончил лабораторку, где был полный вынос мозга.

Задача стояла простая: есть список электронных адресов, нужно найти все со старыми доменами и заменить на новые, остальные оставить, как есть.
Во-первых, мало того, что от студента просто требовалось охерительное умение копирования-вставляния готового кода, где максимум надо было вставить свою строчку со своей уникальной директорией, так еще и с ошибками в виде лишних пробелов (а в питоне это важно)
Во-вторых, сама логика с кучей циклов и условий выглядит так себе...
Возможно, конечно, что анон ошибается, и так и надо, но привыкши в матлабе к элегантности кода, где несколько циклов можно уместить в одну строчку за счет выполнения операций прямо над массивами... ну такое, короче анон возмущен.

Под катом тот самый код:

▼Скрытый текст⬍

#!/usr/bin/env python3

import re
import csv


def contains_domain(address, domain):
  "Returns True if the email address contains the given,domain,in the domain position, false if not.
  domain = r'[\w\.-]+@'+domain+'$'
  if re.match(domain,address):
    return True
  return False


def replace_domain(address, old_domain, new_domain):
  "Replaces the old domain with the new domain in the received address.
  old_domain_pattern = r'' + old_domain + '$'
  address = re.sub(old_domain_pattern, new_domain, address)
  return address

def main():
  "Processes the list of emails, replacing any instances of the old domain with the new domain.
  old_domain, new_domain = 'abc.edu', 'xyz.edu'
  csv_file_location = '<csv_file_location>'
  report_file = '<path_to_home_directory>' + '/updated_user_emails.csv'
  user_email_list = []
  old_domain_email_list = []
  new_domain_email_list = []

  with open(csv_file_location, 'r') as f:
    user_data_list = list(csv.reader(f))
    user_email_list = [data[1].strip() for data in user_data_list[1:]]

    for email_address in user_email_list:
      if contains_domain(email_address, old_domain):
        old_domain_email_list.append(email_address)
        replaced_email = replace_domain(email_address,old_domain,new_domain)
        new_domain_email_list.append(replaced_email)

    email_key = ' ' + 'Email Address'
    email_index = user_data_list[0].index(email_key)

    for user in user_data_list[1:]:
      for old_domain, new_domain in zip(old_domain_email_list, new_domain_email_list):
        if user[email_index] == ' ' + old_domain:
          user[email_index] = ' ' + new_domain
  f.close()

  with open(report_file, 'w+') as output_file:
    writer = csv.writer(output_file)
    writer.writerows(user_data_list)
    output_file.close()

main()

Анон

Re: Записки начинающего дата сатаниста [учеба][левел-ап][yescomm]

Итак, анон прошел регулярные выражения (и пока временно отложил их), начал новый модуль. И теперь стало еще хуже, потому что рассказывают про environment variables. Терпеть не могу, когда дают материал, но не объясняют, для чего он нужен.

Зато в курсе Statistics & Mathematics for Data Science in Python дошли наконец до практических вещей, и анон теперь умеет парсить таблички с сайтов 

Анон

Re: Записки начинающего дата сатаниста [учеба][левел-ап][yescomm]

Немного замотался в конце недели, сейчас наверстываю.

Закончил еще один модуль в курсе по Питону и что-то призадумался. Давно уже в отложенном висит другой курс, нужный по работе, а сроки сдачи проекта все приближаются. И даже не знаю, что делать - то ли попытаться быстро вкатиться (но там курс реально большой, плюс надо еще вводный курс допройти), то ли попытаться нахвататься по верхам из других источников. Тема не очень соотствествует дате сайенс как таковой, это калмановская фильтрация и ее подвиды, и анон сам принцип понимает, но ни в одном курсе (или учебнике) не встречал толкового объяснения, как строить сами модели для калмановской фильтрации, в частности transition and observation matrices. Вернее, самое примитивное вроде модели движения с постоянной скоростью везде пихают, а вот что посложнее, уже нет.

Анон мечтает найти такой курс или учебник, где бы на более сложных моделях (в дифурах) была описана процедура составления уравнений состояния и измерения, с особенностями например на нелинейных моделях, а еще хотелось бы поиграться с вероятностными моделями.

Анон

Re: Записки начинающего дата сатаниста [учеба][левел-ап][yescomm]

Увы, анон вместо учебы упал в игровой запой. Такое со мной бывает редко, но бывает. При этом странно, но игры уже не доставляют удовльствия, как раньше... Чуть поиграл - и все, через день уже скучно. Запой начался с березок... Да, березки осенью мне почему-то напоминают Скайрим и дорогу к седобородым, так потянуло, что скачал себе и установил даже Anniversary Edition, поиграл в новом классе, забросил. Потом анона остро потянуло в Симс4 (ага, под предлогом того, что сделаю себе маленький проектик в питоне для генератора челленджей в симсе). Ну чо, сделал, называется, и залип в новый челлендж, правда, чувствую, что опять сливаюсь. Ну и бессменная для меня хертстоун, но даже там как-то вяло, новый аддон вышел, а уменя даже не распакованы колоды...

Ну и ладно, мозгам нужен отдых, зато как с новыми силами навалюсь... Присмотрел себе еще курс по графам, фиг его знает, нужен он мне или нет. По работе вроде как нужен, но то, что надо было, уже реализовано в матлабе, а там в курсе питон. В общем, надо признать, анон - хомяк, который тащит себе все, что нравится, но потом превращается в белку, которая закапывая орехи, напрочь про них забывает.

А, из нового - чатгопота теперь умеет генерировать картинки. Вставлю сюда, чтобы повеселить

▼Скрытый текст⬍

Анон

Re: Записки начинающего дата сатаниста [учеба][левел-ап][yescomm]

Апдейт. Курс по питону пока висит недобитый, хотя осталось всего 8 процентов материала... Но зато анон с таким удовольствием упал в курс "Kinematics: Describing the Motions of Spacecraft", чтобы наконец-то понимать более детально кватернионы и матрицы DCM, что сам себе удивился. Хотя курс сложнее, чем представлял себе анон, плюс ко всему еще дурацкие задания, где глючный юпитер ноутбук.

Все остальное по дата сайенс заброшено. По работе на низком старте в ожидании прихода данных, где можно будет уже применить знания на практике, но пока ждем и грызем ногти.

Анон

Re: Записки начинающего дата сатаниста [учеба][левел-ап][yescomm]

Новогодний апдейт:
анон добил курс по питону, получил сертификат +
курс по кинематике очень нужен, но пока продвигается с трудом + затык на некоторых заданиях, где похоже сам лектор выставил неправильные ответы, ибо задача перепроверена несколько раз и другие студенты тоже на это жалуются, так что пока -

С НГ анон решил как обычно начать новую жизнь, поэтому будет выделять хотя бы полчаса на курсеру и полчаса на польский язык. Тут главное - систематичность. Даже если после работы глаза вытекают, а мозги сварились, все равно - надо... Или до работы выкраивать время? Тогда надо раньше вставать.