Холиварофорум
Вы не вошли.
#1 2017-11-01 10:23:29
- Анон
АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
Ложноножка треда Дайри-катастрофы
Как избавиться от ошибки "Попробуйте через 20 секунд" в скачанном дневнике: найти папку diary.ru/js и удалить файл journal2.
Отредактировано (2017-11-01 10:24:35)
#51 2017-11-02 04:00:26
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
У меня, кстати, в ручками сохраненных страницах моря не работали. Не раскрывались. Но, может, это только у меня так.
Потому что у тебя скорее всего стоит "подгружать море динамически по клику". То есть браузер (да и Эксплорер) рассматривает такое море как ссылку на другую страницу и не качает ее.
Попробуй поставить так:
Настройки дайри - Работа тегов: IMG, MORE, J - Порядок работы тега [MORE]..[/MORE]
Галка должна быть на "скрытая часть грузится одновременно со страницей"
- и сохранить еще раз. Эксплорер с такой настройкой отлично сохраняет моря вплоть до пятнадцатого в глубину (дальше мне стало влом проставлять ))). А вот за браузер не поручусь, но вдруг получится. Ну и, если не сработает или если у тебя вообще логина нет, тогда придётся ручками же все моря открывать. Это точно проще Эксплорер взять, моря он сохраняет на отличненько.
#52 2017-11-02 04:33:00
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
для теста запустил скачиваться одну из шерлокоправд, там 62 страницы комментов, то есть все 2000 набили.
Макрос такой: http://pravdoruboklon.diary.ru/p2139284 … 000..2000}
И соответственно для любого треда берешь ссылку из урл этого треда, а потом добавляешь ?from={:0000..2000}Скачает он, конечно, всё через задницу с кучей дублей, но мне просто любопытно, сколько гигов может уйти на один дежуркотред со всеми гифками.
Вот этим черезжопным методом с кучей хлама получилось 400 с хвостиком Мб, за девять минут.
Если сохранять одной страницей все 2000 комментов, получается 214 Мб и шесть минут.
Макрос тупо выглядит так: http://pravdoruboklon.diary.ru/p213164547.htm (взял другой тред для чистоты эксперимента)
Остальные настройки все те же самые: уровень ноль и всё такое.
В обоих случаях фоточки открываются, смайлики прыгают, аноши срутся, прям глянешь и радуешься - дежурка дежуркой. Как не уходил. А то дайри такой пиздец в качестве архива прислали, я плакал.
В общем, я бы сохранял одной страницей с тонной комментов, чтобы хоть былО. И вот этой прогой, отлично она картинки вытягивает. А потом, когда кто-нибудь нам что-нибудь сделает хорошее, можно будет попросить поискать способ прикрутить эти скачанные архивы обратно, и там глядишь, сами по страницам переразобьются.
Единственное что: перед загрузкой дежурку ко всему прочему еще нужно будет обязательно дописать
во вкладку ИСЛЮЧЕНИЯ URL - savepic.ru
И обойтись без всех картинок, которые были залиты туда. Увы, но на сейвпике Эксплорер вешается намертво.
#53 2017-11-02 07:20:28
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
Анон, который вчера качал тваретред, сделал наоборот: исключил из поиска ссылки с .htm?from=. То есть страницы списка тредов листаются, а сами треды качаются одной страницей.
Но всё раано в двух экземплярах.
И у менч был хттрек.
#54 2017-11-02 09:12:35
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
А то дайри такой пиздец в качестве архива прислали, я плакал
А можно подробнее?
#55 2017-11-02 09:22:35
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
Наверное, у меня лапки, но HTTrack почему-то часть изображений сохраняет как *.html, а не как *.gif.
#56 2017-11-02 11:09:45
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
(отбросить всё остальное)
-*
(сохранить скрипты и форматирование)
+*.css +*.js
(скачать только записи с тегом)
+*tag=3523*
(скачать смайлы, аватары и загруженные изображения)
+*atic.dia*
(сохранять записи с комментариями)
+*ry.ru/p*
(не разбивать на страницы комментарии под записями)
-*htm?from*
(для скачивания нескольких страниц записей)
+*from=160*
+*from=140*
#57 2017-11-02 11:52:22
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
Вроде как чтобы с шагом 20 было, вот так макрос должен выглядеть.
http://pravdoruboklon.diary.ru/?from={:0000..5940|20}
Но на практике я еще сие не проверял)
#58 2017-11-02 11:53:54
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
Анон, который вчера качал тваретред, сделал наоборот: исключил из поиска ссылки с .htm?from=. То есть страницы списка тредов листаются, а сами треды качаются одной страницей.
Анон, простит за нубский вопрос, а как ты в исключения добавил ссылки определенного вида? Или каждую вставлял?
#59 2017-11-02 12:02:11
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
Ещё можно попробовать 0000,0020...5940. Ни ничего не обещаю.
Анон, простит за нубский вопрос, а как ты в исключения добавил ссылки определенного вида? Или каждую вставлял?
-*.htm?from*
Но это ХТТрек, как в других программах, не знаю.
#60 2017-11-02 12:25:46
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
Народ, имейте в виду, Офлайн Эксплорер выкидывает из сообщества - жмёт по ссылке "Выйти из сообщества", и вылетаешь. Качать без логина никак, там посты, закрытые под 18+, чтоб Оффлайн качал, надо в Паролях зайти на страницу, залогиниться и поставить галочку в Адресах создастся кук, с которым будет реже выкидывать (но всё равно выкидывать:() Имейте в виду, а то выйдете из какого-нибудь брошенного сообщества, куда только вручную добавляют, и пиривет.
Ещё прописал в Исключениях URL http://ххх.diary.ru/?withdraw&signature= и в Сервера и Каталоги ххх.diary.ru/?withdraw&signature= (туда без http писать надо), но стало только выкидывать реже.
От внесения в цитатник прописал туда же http://ххх.diary.ru/?subscribe&postid= и http://ххх.diary.ru/?unsubscribe&postid= (ххх.diary.ru/?subscribe&postid= и ххх.diary.ru/?unsubscribe&postid=) - перестало цитатник засирать. С подписками тоже можно так сделать, но их я уже не трогал, там уже так понасрано, что всё равно первоначальные не восстановишь.
Уровней на дайри, наоборот, лучше побольше поставить, или не доберётся до последних страниц. В сообществе, что мне нужно, 2140 страниц, выставил уровень 22, добирается. Туда же всё меню, где черновики, Написать в сообщество и пр.
И после клика на основной адрес проверяйте, не поменялись ли самовольно адреса - выкидывает и такое. Вообще хорошо список адресов и кук отдельно сохранить в текстовом файле, чтоб быстро восстановить.
Отредактировано (2017-11-02 12:27:11)
#61 2017-11-02 13:30:33
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
Анон, такое чувство, что мне проще тебя попросить выкачать мой дайр х) я вроде не туплю, но читаю и у меня моск отключается. На выходных еще разок рискну.
#62 2017-11-02 13:56:07
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
Анон, который вчера качал тваретред, сделал наоборот: исключил из поиска ссылки с .htm?from=. То есть страницы списка тредов листаются, а сами треды качаются одной страницей.
Но всё раано в двух экземплярах.И у менч был хттрек.
Я сперва решил так поступить с эксплорером. Тупо задать ему макрос "листать все треды одной страницей" и параметр "от первого поста Дежурки до последнего".
Первый пост в дежурке: http://pravdoruboklon.diary.ru/p176982953.htm
Последний на данный момент: http://pravdoruboklon.diary.ru/p214081094.htm
То есть макрос "листать все посты с комментариями одной страницей, не открывая ссылки, кроме катов" должен выглядеть как http://pravdoruboklon.diary.ru/?from={: … 214081094}
А потом я сел и немного подумал.
214081094- 176982953 = 37098141 (=количество пролистанных страниц)
Пусть постов из них 6000, а остальные дадут ответ "такой записи не обнаружено".
Файл хтм "такой записи не обнаружено" весит 25 кб.
То есть только одних пустых страниц Эксплорер насохраняет на 37098141*25 = 927453525 Кб = 885 Гб.
Если к этому прибавить 6000 непустых постов, некоторые из которых могут весить 250-300 мб, ну пусть в среднем будет 200. В гигабайтах выходит на 1180.
Итого для скачки дежурки с комментами таким макросом потребуется 1180+885= 2065 Гб, что немногим больше двух терабайт.
Если задать уровень 0, скачается с нерабочими ссылками, зато со всеми картинками.
Просто к сведению 
Таким же "гениям", как я 
Вроде как чтобы с шагом 20 было, вот так макрос должен выглядеть.
http://pravdoruboklon.diary.ru/?from={:0000..5940|20}Но на практике я еще сие не проверял)
Работает! Спасибо тебе анон! 
+ Хелп! В дневнике есть кнопки: "убрать в блокнот", "поднять запись", "удалить пост" и "отредактировать пост", они для каждого поста имеют такой вид:
http://адрес.diary.ru/p123456789.htm?tonotepad
http://адрес.diary.ru/p123456789.htm?up&signature=
http://адрес.diary.ru/?delpost&postid=123456789
http://адрес.diary.ru/?editpost&postid=123456789
Как прописывать исключения? По логике так как-то?
http://адрес.diary.ru/p{:000000000..123 … ?tonotepad
http://адрес.diary.ru/p{:000000000..123 … signature=
http://адрес.diary.ru/?delpost&postid={ … 123456789}
http://адрес.diary.ru/?editpost&postid= … 123456789}
У кого-нибудь есть тестовый дневник проверить? Я до тестового только вечером доберусь.
#63 2017-11-02 14:00:22
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
Анон, такое чувство, что мне проще тебя попросить выкачать мой дайр х) я вроде не туплю, но читаю и у меня моск отключается. На выходных еще разок рискну.
Анончик, если у тебя время до выходных терпит, погоди просто ))
Я планирую сегодня-завтра понасиловать тестовые дневники, так что надеюсь уже завтра вечером сделать нормальную инструкцию, если раньше никто не соберется. Тогда просто скопируешь всё и на кнопку жамкнешь
#64 2017-11-02 14:35:47
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
Работает! Спасибо тебе анон!
Пожалуйста)
+ Хелп! В дневнике есть кнопки: "убрать в блокнот", "поднять запись", "удалить пост" и "отредактировать пост", они для каждого поста имеют такой вид:
Вот я бьюсь с исключениями всех этих кнопок и ссылок сейчас. Такое ощущение, что если в ИСКЛЮЧЕНИЯ URL прописывать не конкретную ссылку, а так сказать общего вида/с маской, то он их не жрет и ничего не дает. И вообще, если некоторые ссылки проверить чуть ниже в той же вкладке в строке "Тест адреса с помощью Фильтров URL", он пишет "The URL is rejected. Reason: URL Filters | Servers", похоже их туда надо вносить.
Короче, по логике надо прописывать макрос с шагом 20, ставить уровень глубины 1 и заносить в исключения все, вот вообще все лишние ссылки (избранное, темы, календарь записей, кнопку выход, также выход из сообщества, добавить/удалить из избранного, в общем все из бокового меню скачиваемого дневника/соо, а также кнопки поднятия, удаления, редактирования записей, подписаться, отписать, сортировать дневник по старым и новым записям). Чтобы Эксплорер ходил только по страницам дневника и по страницам комментариев, не нажимая ничего лишнего.
Как прописывать исключения? По логике так как-то?
http://адрес.diary.ru/p{:000000000..123 … ?tonotepad
http://адрес.diary.ru/p{:000000000..123 … signature=
http://адрес.diary.ru/?delpost&postid={ … 123456789}
Вроде вот так: http://адрес.diary.ru/?delpost&postid=*
#65 2017-11-02 14:48:52
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
и заносить в исключения все, вот вообще все лишние ссылки (избранное, темы, календарь записей, кнопку выход, также выход из сообщества, добавить/удалить из избранного, в общем все из бокового меню скачиваемого дневника/соо, а также кнопки поднятия, удаления, редактирования записей, подписаться, отписать, сортировать дневник по старым и новым записям).
А нельзя вычеркнуть из списка вообще всё ( -*, например), а потом добавить то, что надо?
Я сперва решил так поступить с эксплорером. Тупо задать ему макрос "листать все треды одной страницей" и параметр "от первого поста Дежурки до последнего".
То есть макрос "листать все посты с комментариями одной страницей, не открывая ссылки, кроме катов" должен выглядеть как http://pravdoruboklon.diary.ru/?from={: … 214081094}
А потом я сел и немного подумал.
214081094- 176982953 = 37098141 (=количество пролистанных страниц)
О. Жёстко. А ХТТрек перебирает ссылки, которые находит на разбираемой странице. То есть у меня он брал каждую ссылку на странице тега (http://pravdoruboklon.diary.ru/?tag=5491639 ) и сверял с шаблоном. Если скачивать — то переходил и разбирал на ссылки новую. Если игнорировать — игнорировал.
И найденные записи тоже листал страницы (?tag=5491639&from=140, например), и в них тоже выбирал то, что кончается на p214081094.htm.
#66 2017-11-02 14:53:50
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
Собрал архивы ФБ и ЗФБ с 2011 по 2017 в торрент. Зимние битвы обе. Форматы фб2, док и тхт (у фб-2016). Только тексты, если что.
ссылки на торрент-файл:
http://transfiles.ru/fgyuk
https://ru.files.fm/u/skbwx2mmвдруг кому пригодится
Анон, спасибо!!!!
#67 2017-11-02 15:03:18
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
А нельзя вычеркнуть из списка вообще всё ( -*, например), а потом добавить то, что надо?
Наверное как-то можно) Я уже думал об этом, возможно стоит в Фильтры URL | Серверы во вкладке Разрешенные просто прописать маску типа http://адрес.diary.ru/p*.htm (или http://адрес.diary.ru/p*), но не уверен, будет ли Эксплорер ходить только по ссылкам такого типа или все равно его куда-нибудь занесет, что-нибудь удалит. А проверять на своей шкуре что-то пока не хочется))) Вот если сейчас финальная проверка с исключениями не сработает, то может и рискну этот способ.
#68 2017-11-02 15:26:48
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
поставить галку и указать уровень 0 (а то подпишетесь на все треды и это в самом лучшем случае)
Если поставить 1 - не будут ли это записи с комментами? Они же по ссылкам, и как бы следующий уровень от сохраняемых страниц.
#69 2017-11-02 15:37:55
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
Если поставить 1 - не будут ли это записи с комментами? Они же по ссылкам, и как бы следующий уровень от сохраняемых страниц.
Будут. Просто кроме записей с комментами, ты заодно на все эти записи подпишешься/отпишешься, занесешь/удалишь их из цитатника, подпишешься/отпишешься от пользователя по почте и через избранное, заодно можешь выйти или вступить в сообщество, так как все перечисленное как бы тоже следующий уровень. Любая ссылка на странице (в том числе удалить запись, если в своем дневнике) будет следующим уровнем. Так что уровень 1 только с правильно прописанными исключениями.
#70 2017-11-02 16:48:14
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
Что работает для скачивания закрытых для незарегистрированных дневников:
1. Старая программа Хэлтьи extrasaver - отлично сохраняет длинные тексты в htm.
Вот тут про ее работу
Архив с программой, если надо, выложу.
Плюсы: отлично видит логин-пароль, скачивает комментарии (можно задать в настройках, что все от 10 знаков комментарий), работает с тэгами. Очищает посты и комментарии от всего лишнего хлама.
Минусы: скачивает в htm, плохо видит картинки (иногда не видит совсем), не работает с дневником целиком (только с тэгами), ссылки на каждую страницу тэга нужно вбивать руками.
Но для скачивания, к примеру, фестов очень хороша.
2. Плагин для файрфокс downthemall/
При подключении платной дайри-опции "групповая работа с записями" сохраняет по 60 постов одним кликом.
Плюсы: быстро, со всеми комментариями
Минусы: только страница htm, перелистывать надо вручную, на сохраненных страницах будет ваша авторизация. Ну и в настройках плагина надо будет дополнительный фильтр поставить, чтобы сохранял только нужное.
#71 2017-11-02 16:54:32
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
Аноны, я кажется сделал через Explorer! Но пока только для чужого дневника (не сообщества, хотя там всего лишь несколько пунктов добавить надо) и при открытии комментариев в скачанном архиве у меня на странице комментов висит окошко с ошибкой #51, но в общем-то оно по центру висит, а страница скролится, так что все прочитать и просмотреть можно.
#72 2017-11-02 17:01:11
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
в скачанном архиве у меня на странице комментов висит окошко с ошибкой #51, но в общем-то оно по центру висит, а страница скролится, так что все прочитать и просмотреть можно.
А в сохранённом есть папка diary.ru/js? Если есть, то поможет файл journal2 удалить.
#73 2017-11-02 17:06:48
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
А в сохранённом есть папка diary.ru/js? Если есть, то поможет файл journal2 удалить.
Ага, помогло. Спасибо)
#74 2017-11-02 17:09:53
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
Ага, помогло. Спасибо)
На здоровье, сама где-то здесь вчера вычитала 
#75 2017-11-02 18:20:01
- Анон
Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти
А можно в ХТТрек в прокси добавить анонимайзер хамелеон?