Холиварофорум

Анон

АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Ложноножка треда Дайри-катастрофы

▼ГОТОВЫЕ АРХИВЫ⬍

Фандомная Битва (ссылки на гугл битые)
Нормальные ссылки на гугл
ФБ-тексты, торрент
Дежурка Фантастических Тварей
Каждому фэндому - фанфик! (фест редких фэндомов), тред психоза родителей, Анонимное Чтиво (ссылки на Анона с простынями и Анонимную Арду битые)
Анон с простынями (литературный блог), Анонимная Арда
Крипи-однострочники, крипи-треды Правдоруба и, внезапно, треды с тегом "иностранные языки" с него же
Гарри Поттер, сквик-фест
Правдоруб
Архивы по Шерлоку
Дайри-архивы ФБ 2011-2017, ЗФБ 2013-2015

▼КАК СКАЧАТЬ⬍

Перед скачиванием дневника любым способом, если вы залогинены, обязательно сделайте в настройках это!
Настройки дайри - Работа тегов: IMG, MORE, J - Порядок работы тега [MORE]..[/MORE]
Галка должна быть на "скрытая часть грузится одновременно со страницей"

▼Как скачать любой дневник или любое сообщество с помощью Offline Explorer⬍

Скачать здесь (версия портабл)
Инструкция 1 — неполная, поднимает записи!!!
Инструкция 2
Инструкция 3
Если кому важны теги, то вычеркните их из списка в инструкции, туда они внесены; в списке исключений прописывайте ссылки, которые вы себе в эпиграфе разместили, если такие есть.
Есть несколько вариантов экспорта. Экспортируй Каталог или chm с оглавлением :)
https://imgur.com/a/1zkIX
Перед экспортом можно смело удалять папки с именами diary.ru, [email protected], [email protected], www.google-analytics.com и прочую ерунду, которая просочится через фильтры. На всякий случай можно проверить, есть что-то в папке или нет (картинки), если нет, удаляйте.

▼Как скачать открытый/открытое дневник/соо с помощью Телепорт Про⬍

Инструкция

▼Скачать открытый дневник/соо с помощью httrack⬍

Официальный сайт

▼Мини-гайд⬍

Устанавливаешь программу (классика: next, i agree, next, next, finish; можно указать папку, в которую хочешь установить программу). Запускаешь (launch). Потом, ЕМНИП, нажимаешь Next, вводить имя папки, в которую будешь сохранять, снова next. Потом директорию (как при сохранении картинки: диск такой-то, папки такие-то). Потом в белое окошко с надписью URL вставляешь, скажем, pravdoruboklon.diary.ru. Требование proxy можно проигнорировать. Когда начинают мелькать синие полоски, уходишь на пару дней или несколько часов заниматься своими делами (хоть в том же интернете). Закончится процесс должен сам, останется только нажать Next, Finish и смотреть, что за бардак насохранялся.

Что ещё работает для скачивания закрытых для незарегистрированных дневников
Скачать умылы
Скачать БИ Оффлайн Эксплорером

https://vk.com/wall-137986293_354
http://digitalfox.diary.ru/p214105480.htm
Важно! Программой от Симорошки можно скачать только свой дневник!

Как избавиться от ошибки "Попробуйте через 20 секунд" в скачанном дневнике: найти папку diary.ru/js и удалить файл journal2.

Отредактировано (2017-11-01 10:24:35)

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Заархивировал свое соо, с ХТТрэком почти 10 часов, куча непонятных папок, открывается по ярлычку "индекс" без фона и картинок, но мне оно и не надо, так как это соо фичков. Но если подскажете, чо сделать, чтобы фон и картинки появились, буду благодарен)

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Но если подскажете, чо сделать, чтобы фон и картинки появились, буду благодарен)

А ты обрывал процесс загрузки? Ставил отметку "исключить изображения"?

Можно попробовать:
запустить программу
выбрать проект с сообществом, далее
где-то там будет выпадающий список с вариантами "сохранить так-то и так-то", "обновить скачанное", "продолжить загрузку"
выбираешь "обновить"
потом задаёшь настройки:
-*
+*mysoo.diary.ru/p*
+*mysoo.diary.ru/?from=*
+*static.diary*

Опционально:
-*.htm?from* — это чтобы меньше дубликатов в страницах с комментариями было.

Не исключаю, что качаться будет ещё 10 часов, но если задать такие настройки в новом проекте, лишних папок должно быть немного. Но не обещаю.

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Не исключаю, что качаться будет ещё 10 часов, но если задать такие настройки в новом проекте, лишних папок должно быть немного. Но не обещаю.

Попробую завтра по новой качнуть, мне время не горит.) Спасибо.

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

думал об этом, возможно стоит в Фильтры URL | Серверы во вкладке Разрешенные просто прописать маску типа http://адрес.diary.ru/p*.htm (или  http://адрес.diary.ru/p*), но не уверен, будет ли Эксплорер ходить только по ссылкам такого типа или все равно его куда-нибудь занесет, что-нибудь удалит. А проверять на своей шкуре что-то пока не хочется))) Вот если сейчас финальная проверка с исключениями не сработает, то может и рискну этот способ.

Ща покручу. В смысле этой ночью и завтра днем покручу. Тестовый дневник не жалко, он закрытый и с записями типа абырвалг для теста дизов. Удалит-поднимет - и черт с ним.

Анон, все идеи, которые приходят в голову и стрёмно проверять на нормальном дайри, кидай сюда. Запущу и отпишусь о результате.

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Но если подскажете, чо сделать, чтобы фон и картинки появились, буду благодарен)

ищи среди кучи папок ту, которая называется адресом твоего соо, открой там  какой-нибудь заархивированный индекс, и будут страницы с фоном

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Ща покручу. В смысле этой ночью и завтра днем покручу. Тестовый дневник не жалко, он закрытый и с записями типа абырвалг для теста дизов. Удалит-поднимет - и черт с ним.

Я проверил - не прокатило. Но можешь покрутить еще.
А так в общем-то я уже все настроил и все отлично скачал, но не могу гарантировать, что у всех также будет работать. У меня нет блокнота, к примеру. То есть я его не исключал. А кроме блокнота может у кого-нибудь еще какая фигня стоит, которую тоже желательно исключить. Хорошо бы собрать список всего (хотя бы словами, ссылки потом к общему виду привести), куда программе надо не ходить. Это чтобы можно было универсальный туториал составить.
И еще одна проблема, которую я так пока и не решил - картинки с imageshack.com (а также превьюшки imagizer.imageshack.us) не загружает ни в какую. Поврежденные файлы в папках вместо них.

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

А куда в яндекс-браузере нажимать, чтобы страницу сохранить как ПДФ, а не как ХТМЛ? Спасибо заранее за ответ.

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Дополнительно - сохранить - на компьютер
появляется окошечко, в нём внизу тип файла, тыкаешь туда

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Дополнительно

А куда нажать, чтобы это "дополнительно" появилось? Извини, если вопрос глупый.

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Аноны, а если надо скачать сообщество с кучей  видео, как они будут потом отображаться? ссылками? И какую прогу лучше использовать?

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Дополнительно

А куда нажать, чтобы это "дополнительно" появилось? Извини, если вопрос глупый.

В правом верхнем углу квадрат из полосочек.

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Дополнительно

А куда нажать, чтобы это "дополнительно" появилось? Извини, если вопрос глупый.

В правом верхнем углу квадрат из полосочек.

Анон, спасибо тебе огромное за помощь)

▼Скрытый текст⬍

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Ещё раз про Офлайн Эксплорер (ХТТрэк мне не нравится вообще, очень медленный, а диз дайрей и вовсе перекосячивает, во всяком случае у меня):
Выяснил правильный алгоритм, может, кому-то пригодится. Всё это, естественно, для дневников, где нужно логин и быть участником. Хорошо, если есть Даунлоад Мастер или ФлэшГет, в общем, программа с плавающим окошечком, чтоб не вручную ссылки кидать, замучаться можно. Перед запуском проекта выделяем ВСЁ меню дайри, у кого оно где, тянем на плавающее окошечко - выскакивает список ссылок. Выделяем всё с шифтом, убираем отдельные нужные ссылки, темы записей, например, можно ещё календарь, и обязательно убирайте RSS сообщества! Вносим в Исключения URL. Так же выделяем меню Главная, Все дневники и пр., туда же в исключения. Большинство из этих ссылок одинаковы для всех дневников, так что можно пользоваться как шаблоном, только в ссылках, где есть адрес скачиваемого дневника, менять. Потом добавляем все ссылки под записями, кроме комментариев и url - Подписаться, в цитатник. Обрезаем идентификатор, чтоб ссылки выглядели так:
http://ххх.diary.ru/?newquote&postid=
http://ххх.diary.ru/??delquote&postid=
http://ххх.diary.ru/?unsubscribe&postid=
http://ххх.diary.ru/?subscribe&postid=
http://ххх.diary.ru/?comments&postid=
Весь этот список с урлами сохраняем в отдельный текстовый документ, в нём убираем у всех адресов http:// и добавляем на вкладках Сервера и Каталоги через Load from file. Список, где http:// есть, добавляем в Исключения URL. Ещё я туда же добавляю рекламу:
http://ad.adriver.ru/
http://button.blogs.yandex.net/
http://content.adriver.ru/banners/
http://st.yandexadexchange.net
http://counter.yadro.ru
http://dmg.digitaltarget.ru/
http://info.diary.ru/index.php?title=faq
http://top.list.ru
http://top.list.ru/counter?id=
http://top-fwz1.mail.ru
http://utarget.ru/jsclck/88c503bee4/?re … &rand=4533
http://www.liveinternet.ru/stat/diary_
Чтоб не высчитывать уровни, просто выделяем внизу количество страниц и тянем на окошечко качалки. Получаем список:
http://ххх.diary.ru/?from=20
http://ххх.diary.ru/?from=40
http://ххх.diary.ru/?from=60
И так далее. Вносим его весь в адреса. Уровень можно оставить хоть 1, все ссылки по страницам всё равно скачаются.
Скачивается с такой подготовкой очень быстро, не выкидывая из сообщества, без лишнего и не засирая подписки и цитатник. Но сперва проверьте на каком-нибудь безопасном дневнике, вдруг что-то пропустили. И перед запуском проверяйте адреса в настройках! У Оффлайн Эксплорера есть мерзкая привычка их подменять, чаще всего после пользования его браузером.

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

И еще одна проблема, которую я так пока и не решил - картинки с imageshack.com (а также превьюшки imagizer.imageshack.us) не загружает ни в какую. Поврежденные файлы в папках вместо них.

А вручную они сохраняются? Некоторые хостинги не дают сохранять картинки со страниц, где они встроены, надо копировать адрес и открывать в отдельном окне. Такой говнистостью отличаются imgur и photobucket (последний вообще полное дерьмо).

А куда в яндекс-браузере нажимать, чтобы страницу сохранить как ПДФ, а не как ХТМЛ? Спасибо заранее за ответ.

На всякий случай, если кому интересен такой вариант: в хроме и iron браузере можно сохранять в пдф через правый клик - Печать - Сохранить как. Браузер можно поставит портабельный специально для этих целей:)

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Блин, анон, я очень туплю с утра, но все равно не понимаю твою инструкцию. Можешь скрины кинуть твоего шаблона? Какие адреса на какую вкладку? Что в исключения, что нет? Нихуя не понял.

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Аноны, сортироправду качать? Крипи-тред? Токсичных родителей? Анонимки Кингсмана  и ГП? ЩИТ?

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

рипи-тред

Да!

Токсичных родителей я скачала, потом выложу. (Если это про тред психоза родителей)

Отредактировано (2017-11-03 12:27:59)

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Всё, теперь точно рабочий шаблон для HTTrack:
-ad.doubleclick.net/*
-mime:application/foobar
-*
+*.css +*.js
+*atic.diary.r*
+*non.diary.ru/p*
+*non.diary.ru/?from=*
+*non.diary.ru/?tag=*
-*htm?from*

Сохраняет открытые блоги. Выделенное — последние буквы идентификатора качаемого дневника.

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Блин, анон, я очень туплю с утра, но все равно не понимаю твою инструкцию. Можешь скрины кинуть твоего шаблона? Какие адреса на какую вкладку? Что в исключения, что нет? Нихуя не понял.

Анончик, ну ты вообще в настройки заглядывал? Я же назвал всё.
Вот тут сделал скрины, что куда вносить, надеюсь, так понятнее.
https://imgur.com/a/IqGbr
(в исключениях, естественно, не всё, это пример:))

Отредактировано (2017-11-03 13:26:34)

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Крипи-тред?

я начал качать по тегу крипи, но там почему-то примазались и левые посты по другим тегам
хотел бы еще готэмоправды, но там чот дохуя будет вместе тыщщами принесенных гифок

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Перед запуском проекта выделяем ВСЁ меню дайри, у кого оно где, тянем на плавающее окошечко - выскакивает список ссылок. Выделяем всё с шифтом, убираем отдельные нужные ссылки, темы записей, например, можно ещё календарь, и обязательно убирайте RSS сообщества! Вносим в Исключения URL. Так же выделяем меню Главная, Все дневники и пр., туда же в исключения.

Зачем Главная, Все дневники и пр., добавлять? Если указан уровень 1 и в Фильтры URL|Сервера стоит галка напротив Загружать файлы с начального сервера, то Эксплорер будет переходить только на страницы http://адрес.diary.ru/...... То есть из меню в исключения  достаточно добавить страницы, которые с http://адрес.diary.ru/ начинаются.

Обрезаем идентификатор, чтоб ссылки выглядели так:
http://xxx.diary.ru/?newquote&postid=

У меня если так обрезать идентификатор, в цитатник все равно добавляется. Если * в конце поставить, тогда работает. Иначе Эксплорер читает ссылку буквально как она обрезана. 

А вручную они сохраняются? Некоторые хостинги не дают сохранять картинки со страниц, где они встроены, надо копировать адрес и открывать в отдельном окне.

Если сохранять html страницу вручную через Ctrl+S или через Сохранить страницу, то все прекрасно сохраняется.
Если сохранять Эксплорером, то когда изображение вставлено как

<img src="http://imagizer.imageshack.us/v2/xxxxxxx.jpg">

никаких проблем нет. Когда изображение вставлено как

<a href="https://imageshack.com/i/yyyyyyy" target=_blank><img src="http://imagizer.imageshack.us/v2/xxxxxxx.jpg"></a>

программа сохраняет три файла: Descr.WD3, файл без разрешения и файл .jpg. Тот который .jpg, при открытии пишет, что файл поврежден. А вот если приписать .jpg файлу без разрешения, то получится нужная картинка. Но на скачанной странице она все равно не будет отображаться.
Полагаю, что с imgur и photobucket та же фигня. При этом с радикала, flickr и других хостингов Эксплорер все отлично качает и в первом, и во втором случае.

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

но там чот дохуя будет вместе тыщщами принесенных гифок

Гифки лежат на Тумбе, Имгуре и всём таком. Их можно исключить из скачивания. Не исключено, что трафика набежит много, но на жёсткий диск они не лягут.

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

но там почему-то примазались и левые посты по другим тегам

походу надо перекачать с учетом совета анона

(скачать только записи с тегом)
+*tag=3523*

и крипи-однострочники перекачать после изменения настроек моря

Гифки лежат на Тумбе, Имгуре и всём таком. Их можно исключить из скачивания. Не исключено, что трафика набежит много, но на жёсткий диск они не лягут.

спасибо за совет, попробую так

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Зачем Главная, Все дневники и пр., добавлять? Если указан уровень 1 и в Фильтры URL|Сервера стоит галка напротив Загружать файлы с начального сервера, то Эксплорер будет переходить только на страницы http://адрес.diary.ru/...... То есть из меню в исключения  достаточно добавить страницы, которые с http://адрес.diary.ru/ начинаются.

Стоит у меня там галка. Эксплорер лезет аж на мой дневник. Лишнее внести не страшно, вреда от него не будет.

У меня если так обрезать идентификатор, в цитатник все равно добавляется. Если * в конце поставить, тогда работает. Иначе Эксплорер читает ссылку буквально как она обрезана.

Вот как раз с * не работает, первым делом проверил. А вносить надо в Сервера и Каталоги, это же маски. Я даже скрины сделал.
https://i.imgur.com/yvg29u1.png
https://i.imgur.com/e6xeO7R.png

Если сохранять html страницу вручную через Ctrl+S или через Сохранить страницу, то все прекрасно сохраняется.
Если сохранять Эксплорером, то когда изображение вставлено как

<img src="http://imagizer.imageshack.us/v2/xxxxxxx.jpg">

никаких проблем нет. Когда изображение вставлено как

<a href="https://imageshack.com/i/yyyyyyy" target=_blank><img src="http://imagizer.imageshack.us/v2/xxxxxxx.jpg"></a>

программа сохраняет три файла: Descr.WD3, файл без разрешения и файл .jpg. Тот который .jpg, при открытии пишет, что файл поврежден. А вот если приписать .jpg файлу без разрешения, то получится нужная картинка. Но на скачанной странице она все равно не будет отображаться.
Полагаю, что с imgur и photobucket та же фигня. При этом с радикала, flickr и других хостингов Эксплорер все отлично качает и в первом, и во втором случае.

Понятно, проблема в форме ссылки. Тут я не знаю, что посоветовать. Если только в Серверах и Каталогах в Разрешённые попробовать добавить imageshack.com/i/yyyyyyy" target=_blank. Можешь кинуть страничку с такими ссылками? тоже попробую поэкспериментировать.

Отредактировано (2017-11-03 14:35:08)

Анон

Re: АРХИВЫ С DIARY.RU и АРХИВИРОВАНИЕ. Собираем то, что успели спасти

Короче, у меня такая инструкция к Offline Explorer. Работает на своем дневнике, чужом дневнике и чужом сообществе. Своего сообщества нет, поэтому не проверял. Также не знаю как будет работать у тех, у кого подключен Блокнот, Мои ссылки, пр. или стоит навороченный CSS-дизайн. Но подписывание/отписывание от дневника по E-mail, добавление/удаление из избранного, добавление/удаление из цитатника, поднятие/опускание записей, удаление/редактирование записей и комментариев, вступление/выход из сообществ, это я все исключил. Не должен такого делать. Проверяйте сначала на безопасных дневниках, сообществах и виртуалах.

1) Создаем новый проект, прописываем адрес и имя проекта.
2) Уровень: ставим 1. 
3) Изменения файлов: Загружать только измененные и новые файлы.
4) Пароли: Мастер паролей сайта, войти под своим паролем, поставить галочку.
5) Макросы URL: http://адрес.diary.ru/?from={:0000..x|20}, где x - число в адресе с последней страницы дневника. То есть адрес последней страницы дневника выглядит как http://адрес.diary.ru/?from=4900, то x будет 4900.
6) Папка загрузки: Выбираете, куда будете скачивать.
7) Фильтры файлов: Я убирал галки с Видео, Аудио, Архивы. Во вкладках Текст и Другие должно стоять разрешение "Загружать согласно фильтрам URL", во вкладках Изображения и Пользовательские лучше оставить "Загружать отовсюду".
8) Исключения URL: Копируете и вставляете список ниже. Только внимательно, никаких лишних пробелов после ссылки и не удалите случайно звездочки.

http://savepic.net/
http://savepic.ru/
http://адрес.diary.ru/?new*
http://адрес.diary.ru/?del*
http://адрес.diary.ru/?edit*
http://адрес.diary.ru/?draft
http://адрес.diary.ru/?mod
http://адрес.diary.ru/?notepad
http://адрес.diary.ru/?userid=*
http://адрес.diary.ru/?fav*
http://адрес.diary.ru/?quote
http://адрес.diary.ru/?album
http://адрес.diary.ru/?join&signature=*
http://адрес.diary.ru/?withdraw&signature=*
http://адрес.diary.ru/?subscribe*
http://адрес.diary.ru/?unsubscribe*
http://адрес.diary.ru/?calendar
http://адрес.diary.ru/?tag*
http://адрес.diary.ru/?headline
http://адрес.diary.ru/?post*
http://адрес.diary.ru/options/member/?smile
http://адрес.diary.ru/photolib/?avatars
http://адрес.diary.ru/?order*
http://адрес.diary.ru/*.htm?down&signature=*
http://адрес.diary.ru/*.htm?up&signature=*

9) Сервера: Галка напротив "Загружать файлы только с начального пути".
10) Дополнительно|Изменение ссылок: Выбрать Он-лайн трансляцию. 
11) Применить и Ок. Дальше выбираем проект и жмем загрузить.
12) По окончанию загрузки из папки diary.ru/js?, удалить файл journal2. Все.