Холиварофорум

Не все, что говорят на Холиварке — правда!

Вы не вошли.

Объявление

Внимание! Если у вас в последнее время были проблемы с получением автоматических писем при регистрации или восстановлении пароля, пожалуйста, прочитайте пояснения

#1 2014-04-18 11:36:50

Анон

Тема айти

Каталог полезных советов и ссылок, принесенных разными it-анонами, c 1-й по 332-ю страницы:

1. C чего начинать курить айти?
2. Языки программирования
3. Тестировщик
4. Фронт-энд, бэк-энд, вёрстка
5. Data Science
6. Алгоритмы
7. Разное
8. Курсы и ресурсы с задачами

Безблог [Левел-ап] [IT] войти-в-айти с нуля для 3+ анонов


#7276 2021-03-23 01:47:24

Анон

Re: Тема айти

Анон пишет:

г-ди, ты такой тугой что даже не понял, что cat это просто алиас шелла твоего ебучего айпитона (где это 'почему-то' работает), и конкретно этот алиас к питону имеет такое же отношение как морская свинка к морю и свиньям.
если б ты учил питон вместо того чтоб учить анона какой-то хуйне в треде, то NameError могла бы тебе намекнуть, что кат это не терминальный символ и не часть стандартной библиотеки.

cat это алиас шелл моего ебучего линукса, просто внезапно оказалось, что в айпайтоне он работает точно таким же образом. Я питон учил, и поэтому знаю, что если ты вводишь в интерпретатор набор букв и нажимаешь энтер, питон воспринимает этот набор букв как переменную и ищет ее значение. И, что логично, не находит, потому что в питон не встроена переменная cat. Мне вот об этом говорит ошибка NameError, но ты продолжай разговаривать с голосами в голове.

#7277 2021-03-23 02:11:14

Анон

Re: Тема айти

Анон пишет:

Попробуй вот тут посмотреть https://compconfig.ru/software/programm … v-xml.html

Анон пишет:

Еще можно установить Notepad++, открыть в нем и отформатировать в штатном редакторе с поддержкой регулярки. Для этого не надо быть кодером.
Регулярка для софтины есть тут: https://starper55plys.ru/bez-rubriki/re … e-primery/

Анон пишет:

См. этот и соседние ответы, например: https://stackoverflow.com/a/4944922

спасибо, аноны! я попробую

Анон пишет:

Ну и т.к это некий ваш метод распространения открытых данных, то всегда может найтись какой-то готовый инструмент который всё сделает и всё экспортирует. Яхз, сам не из РФ и неебу как у вас и что.

ну, как ты понимаешь, я тоже хз, это собственная прихоть РЗН или что-то общепринятое, но от других ведомств мне такой большой объем данных раньше не был нужен

Анон пишет:

В любом случае, чтобы в программе что-то искать и как-то фильтровать, понадобится какой-то прикладной язык запросов и понимание взаимодействия со структурой документа, а чем это отличается от программирования?

Анон пишет:

надо файл с описанием трансформации (.xslt). Писать его в случае типа твоего надо руками

Анон пишет:

В общем если ты не умеешь программировать то самое время учиться

Анон пишет:

Мне просто кажется, что разбираться с рептилоидными языками обработки XML и с тем, что, где и как работает в профессиональном интерфейса профессиональной программы, начинающему будет не так легко, как, скажем SQL понять.

с какого конца жопы мне зайти, чтобы получить какое-то системное представление о предмете? безотносительно этой истории с xml-файлом. я знал, конечно, что рано или поздно придется(( разделы sql и курсы в шапке?

#7278 2021-03-23 02:52:57

Анон

Re: Тема айти

Анон пишет:

cat это алиас шелл моего ебучего линукса

:facepalm:
file `which cat` или просто type cat выполни в своём ебучем линуксовом шелле и почитай что тебе напишет. Ну или просто скажи, на что ж это алиас тогда, что там скрывается за тайной командой cat? Бизибокс не в счёт, да и тот по-моему через симлинки и argv[0] понимает чего ему запускать


Анон пишет:

Я питон учил, и поэтому знаю, что если ты вводишь в интерпретатор набор букв и нажимаешь энтер, питон воспринимает этот набор букв как переменную и ищет ее значение. И, что логично, не находит, потому что в питон не встроена переменная cat. Мне вот об этом говорит ошибка NameError, но ты продолжай разговаривать с голосами в голове.

Почти 60 лет развития теории формальных языков для того, чтобы потомки в 2021 могли писать такую поебень. Вы могли бы стоять на плечах гигантов и стремиться к звёздам, но вместо этого сидите на жопе посреди говна и интерпретаторов, которые работают совершенно непонятным вам образом.
Господин Хомский, не имею чести знать вас лично, но с прискорбием вынужден сообщить: мы всё проебали.

Но сейчас даже не об этом. Ты сам писал про кат, как будто он чем-то поможет и про его наличие в интерпретаторе питона, а теперь переобуваешься когда выясняется что это алиас от твоего конкретного айпитона в твоём конкретном окружении и высрать 900мб текста в консоль это всё ещё не решение.

#7279 2021-03-23 03:08:55

Анон

Re: Тема айти

Анон пишет:

с какого конца жопы мне зайти, чтобы получить какое-то системное представление о предмете? безотносительно этой истории с xml-файлом. я знал, конечно, что рано или поздно придется(( разделы sql и курсы в шапке?

XPath/XQuery, как и SQL, прикладные языки, они подразумевают, что данные уже есть, загружены в какую-то программу, и пользователю осталось только как-то ими манипулировать для своих нужд. На том же сайте BaseX сверху большая ссылка на документацию, а в ней и ссылки на статьи для начинающих.

Проблема в том, что данные могут быть не совсем данными. Например, адрес, записанный обычным текстом, да ещё в произвольном формате. Если нужно всего лишь получить компании, находящиеся в деревне Кукуево, можно обойтись текстовым поиском. Если деревня зовётся Иваново, придётся отбрасывать все ненужные населённые пункты с таким же названием, и тут сравнения строк уже не очень удобны. Если нужны выборки по произвольным населённым пунктам, районам или областям, не обойтись без разбора адреса, сопоставления ему этой иерархии, и проверки, что всё распознаётся без ошибок. Если нужны выборки по географической близости к заданному месту, не обойтись без дополнительных данных, которые надо откуда-то взять и сопоставить со своими. Думаю, это уже программирование, хотя бы и реализуемое в прикладной программе.

В примере в одном месте адрес задан текстом, а в другом — иерархически, с учётом региона и отделения государственного органа. Например, надо быть готовым, что одно может не совпадать с другим даже тогда, когда подразумевается одно и то же помещение одной и той же организации. Это всё не слишком сложные задачи, просто надо заранее знать, как они в принципе решаются.

Возможно, уже есть фирмы, которые за копеечку предоставят доступ к уже обработанным справочникам, составленным по этой информации, в каких-то многофункциональных системах.

#7280 2021-03-23 11:45:50

Анон

Re: Тема айти

Ммм, анон с .xlsx - а пробовал расширение поменять на .zip и открыть как архив? Там должны появиться .xml-файлы, в принципе если тебе такой формат подойдет - можешь так попробовать.

#7281 2021-03-23 13:09:22

Анон

Re: Тема айти

Анон пишет:

А, ну тогда тебе да, надо открывать и глазками смотреть, что там, и ручками делать, что нужно делать.

Даже если оставить в стороне проблему того, чем открывать, ручками и глазками парсить 900 мегабайт текста? Проще детским совочком перекидать КАМАЗ песка.
Как насчет нанять программиста, загрузить это говно в БД и оттуда уже по-человечески получать информацию с нужными отборами? Это точно будет быстрее и качественнее.

#7282 2021-03-23 17:00:30

Анон

Re: Тема айти

Товарищи автотестеры, подскажите.
В Селениуме есть команда для сохранения текущей открытой веб-страницы на жесткий диск?
Кнопки «скачать» на странице нет, т.е. это уже сразу «отказ», не по протоколам имитации кликов юзера?

Питон или C#. Никак не соображу, как это реализовать.

#7283 2021-03-23 21:17:10

Анон

Re: Тема айти

Внедрить скрипт и получить им текущее состояние DOM, потом сохранять, разбирать, прочие ресурсы загружать и т. д.?
https://stackoverflow.com/questions/253 … ium-server

#7284 2021-03-23 22:44:50

Анон

Re: Тема айти

Анон пишет:

Даже если оставить в стороне проблему того, чем открывать, ручками и глазками парсить 900 мегабайт текста?

Даже если оставить в стороне то, что есть программисты, которые в состоянии пропарсить ВСЕ 900 метров, а это вообще не обязательно строго текст, это XML, там вообще все, что угодно быть может, ВНЕЗАПНО программистам тоже нужно четкое ТЗ, а не залезь туда не знаю куда, возьми то не знаю что и сделай с этим что-нибудь. Так что да, открыть и глазками посмотреть, что это такое и что с этим дальше делать. Что приводит нас к изначальной проблеме, поднятой ТС.

#7285 2021-03-24 09:49:31

Анон

Re: Тема айти

Анон пишет:

Внедрить скрипт и получить им текущее состояние DOM, потом сохранять, разбирать, прочие ресурсы загружать и т. д.?

Ничего не понял, но посмотрю.
Это я размышляю, как средствами Селениума выкачать свой дайри.

#7286 2021-03-24 10:16:48

Анон

Re: Тема айти

Тогда тебе придётся разбор страничек с выводом всех связанных файлов писать, и какую-то очередь загрузки. Кажется, у браузерных средств разработчика тоже есть API, так что весь лог из вкладки Network можно автоматически получить, но вот алгоритм загрузки (и отсева того, что не следует запрашивать) придётся продумывать.

Если хочешь, пиши, материалов по web scraping достаточно. Но лучше возьми предназначенное для этого приложение, залогинься в браузере, куки и user-agent из браузера задай в настройках, продумай фильтры адресов и качай себе потихонечку, не привлекая внимания санитаров. В теме архивирования Дайри примеры даны. Хоть wget/wpull используй, хоть что-то графическое вроде Offline Explorer. Тут целиком браузер через Selenium запускать нет смысла, если не думаешь динамическую подгрузку всяких там комментариев воссоздать в архивной копии, и обойдёшься статическими страничками по ссылкам. Впрочем, для такого варианта тоже есть готовые решения.

#7287 2021-03-24 12:19:04

Анон

Re: Тема айти

А тут есть аноны-техписы? Можете назвать плюсы и минусы профессии?

#7288 2021-03-24 14:08:47

Анон

Re: Тема айти

Анон пишет:

с какого конца жопы мне зайти, чтобы получить какое-то системное представление о предмете?

Я, конечно, понимаю, в каком мы треде, но, мнится мне, тебе совершенно необязательно осваивать программирование и базы данных, шоб открыть некий файл. То есть любое знание полезно, и учиться новому здорово, но мне не кажется, что тебе станет сильно легче, если ты начнешь учить программирование, а это дело не одного дня, а ведь файл тебе наверное не в следующем году нужен. Я бы посмотрел, чего там аноны накидали, может, оно полезное что-то (я не смотрел, конечно же, что там  ;D )

#7289 2021-03-24 19:42:34

Анон

Re: Тема айти

Анон пишет:

А тут есть аноны-техписы? Можете назвать плюсы и минусы профессии?

Обсуждали как раз пару страниц назад.

#7290 2021-03-24 21:22:53

Анон

Re: Тема айти

Анон пишет:

Проблема в том, что данные могут быть не совсем данными. Например, адрес, записанный обычным текстом

Да, к сожалению. Я сталкивался с этим на предыдущей работе.

Анон пишет:

На том же сайте BaseX сверху большая ссылка на документацию, а в ней и ссылки на статьи для начинающих.

Спасибо!

Анон пишет:

Ммм, анон с .xlsx - а пробовал расширение поменять на .zip и открыть как архив? Там должны появиться .xml-файлы, в принципе если тебе такой формат подойдет - можешь так попробовать.

К сож, не получилось. Но я это сделал на маке, из любопытства попробую еще в винде.

Анон пишет:

Как насчет нанять программиста, загрузить это говно в БД и оттуда уже по-человечески получать информацию с нужными отборами? Это точно будет быстрее и качественнее.

Если бы мне было для души, я бы наверное так и поступил, но это рабочий вопрос, к тому же не первостепенной важности, свои деньги я тратить на него не хочу, а убедить начальство нанять программиста под разовую задачу, тем более предложенную не ими - слишком большой гемор.

Я в итоге при помощи такой-то матери смог конвертнуть этот файл в цсв при помощи скачиваемой программы, дальше все разобралось по нескольким таблицам (самая длинная - миллион двести что ли строк). К счастью, та описательная часть, которая занимает наибольший объем - это не произвольные, а стандартизированные описания, поэтому обработка прошла нормально.
Спасибо за консультацию, аноны.

#7291 2021-03-24 21:27:44

Анон

Re: Тема айти

Анон пишет:

Я, конечно, понимаю, в каком мы треде, но, мнится мне, тебе совершенно необязательно осваивать программирование и базы данных, шоб открыть некий файл. То есть любое знание полезно, и учиться новому здорово, но мне не кажется, что тебе станет сильно легче, если ты начнешь учить программирование, а это дело не одного дня, а ведь файл тебе наверное не в следующем году нужен.

да ясно-понятно) да и с файлом уже решилось. но такие задачи всплывают время от времени. к тому же я имею две интересующие меня опции, скажем так, карьерного развития для условного пятилетнего будущего и та из них, которая связана с обработкой данных, нравится мне несколько больше, соответственно

#7292 2021-03-25 18:01:11

Анон

Re: Тема айти

Аноны, а можете подсказать, какой-нибудь толковый материал или видос, по настройке мультибраузерной проверки на selenium + python?
Т.е. я понимаю, как запустить в гриде несколько инстансов браузеров, но как мне настроить мой тестовый фрейморк на исполнение тестов в этих браузерах одновременно не могу понять.
Даже с Selenoid нифига не получилось.

#7293 2021-03-25 23:58:06

Анон

Re: Тема айти

Насколько трудно начать работать с продуктом, который пишется под очень узкую бизнес-нишу? 
Со сложной предметной областью и высокими рисками.
Ну например софт для фармы. Или для физиков-ядерщиков. Или для подводных лодок.
Или без условного биофака/мореходки в прошлом - лучше и не лезть?

#7294 2021-03-26 13:02:48

Анон

Re: Тема айти

Анон пишет:

Насколько трудно начать работать с продуктом, который пишется под очень узкую бизнес-нишу? 
Со сложной предметной областью и высокими рисками.
Ну например софт для фармы. Или для физиков-ядерщиков. Или для подводных лодок.
Или без условного биофака/мореходки в прошлом - лучше и не лезть?

Зависит даже не от ниши, а от размера фирмы и позиции руководства. Почти все такие продукты начинаются группой специалистов с условного биофака/мореходки. Если продукт взлетает, то фирма разрастается и в какой-то момент хорошо бы разделить создание новых идей и воплощение их в коде. Какие-то руководители это понимают и создают у себя отдел научного чего-нибудь и отдел разработки ПО. Какие-то руководители продолжают настаивать, что для работы у них необходимо знание предметной области.

Я работал в фирме на 200 человек, где разработка новых алгоритмов научной хрени была строго отделена от программирования полученного алгоритма для финального продукта. И в один отдел хотели условную мореходку и матлаб, а во второй всякую айтишную хрень, знание предметной области не требуется. И работал в фирме на 30 человек, куда без кандидатской по предметной области просто не рассматривали. Продукту это было скорее во вред, но такая позиция руководителя.

#7295 2021-03-26 13:25:19

Анон

Re: Тема айти

Анон пишет:

полученного алгоритма для финального продукта. И в один отдел хотели условную мореходку и матлаб

Не морские тренажёры случайно?
анон из смежной области

Анон пишет:

Или без условного биофака/мореходки в прошлом - лучше и не лезть?

Плюсую анону выше, зависит от фирмы и позиции руководства.

#7296 2021-03-26 13:50:35

Анон

Re: Тема айти

Аноны, а сюда можно обращаться с вопросами про «упаковку в резюме»(с) реального опыта?
Работаю 2 года в микрофирме где я и швец и жнец и на дуде игрец. То есть нахватался всего по верхам самоучкой.

#7297 2021-03-26 13:50:38

Анон

Re: Тема айти

Анон пишет:

зависит от фирмы и позиции руководства.

+Бывают промежуточные варианты. Например, готовы рассмотреть смежные варианты : к условной мореходке добавятся кандидаты из летчиков, а к биофаку - химфак.

Знакомые авиатренажеры делают - у них первое требование инженерное образование вида мгту-мифи-маи-военмеха, потом все остальное. Но профильная предметка - очень большой плюс(хотя и не основное требование).

#7298 2021-03-26 14:00:25

Анон

Re: Тема айти

Анон пишет:

И работал в фирме на 30 человек, куда без кандидатской по предметной области просто не рассматривали. Продукту это было скорее во вред, но такая позиция руководителя.

Я работаю в ИТ отделе фирмы из узкой отрасли. И нереально утомляет и жрет массу мозговой энергии тот факт, что запросы на изменения пишут на этом своем научном сленге.
Аналитик сам с бэкграундом этой науки, ему норм и он тут же спускает задачи дальше. А что такое «Считайте расчеты по Смиту» - уже разбирайся сам.

#7299 2021-03-26 14:03:13

Анон

Re: Тема айти

Анон пишет:

нереально утомляет и жрет массу

Ну вот именно поэтому идея взять кого то с бекграундом, чтобы не переводить смита и тангаж - очень неплоха.

#7300 2021-03-26 14:15:53

Анон

Re: Тема айти

Анон пишет:
Анон пишет:

нереально утомляет и жрет массу

Ну вот именно поэтому идея взять кого то с бекграундом, чтобы не переводить смита и тангаж - очень неплоха.

Но немеряно сужает количество кандидатов. Я столкнулся с той же позицией в большом банке - типа, вот тебе на птичьем языке что трейдеры или бэкофис написали, СДЕЛАЙВЧЕРА. Результаты были немного предсказуемы.
Это как раз тот редкий случай, когда аналитик на проекте реально
нужен.

Подвал форума

Основано на FluxBB, с модификациями Visman
Доработано специально для Холиварофорума