Холиварофорум

Это холиварка, здесь могут послать нахуй. Институт благородных девиц дальше по коридору.

Вы не вошли.

Объявление

Мы начинаем прием заявок на Тайного Санту 2026!

#1 2022-12-05 22:58:43

Анон

Напиши мне историю, или текстовых ИИ тред

Тред для обсуждения текстовых ИИ в контексте писательства: ролевых игр, додать себе редкопейринга, написать пейзаж для главы или подсказать вотэтоповорот.

▼ИИ для ролевых⬍
▼Общие ИИ⬍
▼Гайды и прочие развлечения с ботами⬍
▼FAQ⬍
▼Очень Полезные Ссылки⬍

Для удобства поиска отзывов используйте тег #ии_истории.


#16901 2026-05-08 11:30:26

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

Лоботомия и отупление модели это теперь не так плохо, оказывается.

Ну вот у Кими 2.6 через moonshotai (официального провайдера) на ОР - int4, и вроде как это считается довольно заметной квантизацией, хуже fp8. Но если она такая официально...  :dontknow: И Кими очень хорошая, от официального провайдера и хороших типа parasail/siliconflow я не могу назвать ее тупой. Она немного хуже у чутес и atlascloud (там как раз заметно, хотя те же int4), и совершенно неюзабельна у неизвестного странного провайдера, который вчера-позавчера выпадал у наногпт.

#16902 2026-05-08 11:55:40

Анон

Re: Напиши мне историю, или текстовых ИИ тред

У Кими и нового Дипсика 4 нативная int4 квантизация, это совсем не то же самое что взять модель заточенную под 16 квант и заквантовать ее.

#16903 2026-05-08 12:11:58

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

Лоботомия и отупление модели это теперь не так плохо, оказывается. Не удивлюсь, если по мнению анонов станется, что стирание креативности моделей в пользу ассистентслопа - это тоже хорошо и годно.

Между "самое лучшее", "не так уж плохо" и "ебать как же это хуево" есть огромная разница. Да, полная модель - это просто отлично. Нет, квантование само по себе не так уж плохо, зависит от. Разумеется, лоботомия - это просто хуево. Но твое "не удивлюсь" соломенное чучело - это просто ебать дурка, нет смысла спорить с тобой в духе "сегодня играешь с ботом, а завтра массово расстреливаешь людей".

#16904 2026-05-08 14:41:14

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Хмм. не для того чтобы присоединиться к спору за квантирование! решила поспрашивать ИИ чтоб он объяснил мне простыми словами что это такое вообще (я понимала что это какое то урезание модели, но не до конца понимала как). ИИ мне довольно интересно ответил, с примерами. потому решила сюда тоже принести. (спорить не буду, ни за ни против, просто инфа для таких же как я, кто не очень вдупляет)

▼Скрытый текст⬍

Ответ на твой главный вопрос:
❌ Уменьшается ли количество вариантов слов?
Нет. Словарь модели (например, 32 000 слов) остается абсолютно таким же. Модель по-прежнему «видит» все слова.

✅ Получают ли разные слова одинаковые веса из-за округления?
ДА! Именно так и происходит. Это и есть суть квантования на уровне генерации. Из-за потери точности вычислений, слова, которые имели очень близкие, но разные вероятности, после округления получают абсолютно одинаковый вес.

—-

Наглядный пример: Генерация следующего слова

▼Скрытый текст⬍

#16905 2026-05-08 14:49:08

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

решила поспрашивать ИИ чтоб он объяснил мне простыми словами

  :lol:

Отредактировано (2026-05-08 14:49:20)

#16906 2026-05-08 15:07:32

Анон

Re: Напиши мне историю, или текстовых ИИ тред

так это как раз простыми-адекватными словами.
не простыми словами - было оч запутанно и заумно,
а прям "простыми" - было уж слишком упрощенно..  аля "ну это как сжатие jpeg" - слишком абстрактно, хоть и правильно. так как терялась часть про обрезание неиспользуемых весов.

#16907 2026-05-08 17:15:00

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Огромная простыня нейрослопа, смысл которой можно впихнуть в два абзаца, написанные человеческим языком :facepalm: Анон, ты бы хоть напильником этого монстра обработал прежде чем тащить в тред.

#16908 2026-05-08 17:35:10

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

Огромная простыня нейрослопа, смысл которой можно впихнуть в два абзаца, написанные человеческим языком :facepalm: Анон, ты бы хоть напильником этого монстра обработал прежде чем тащить в тред.

так он и написал это между спойлерами.

#16909 2026-05-08 17:39:03

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

Да, полная модель - это просто отлично. Нет, квантование само по себе не так уж плохо, зависит от.

кстати, если б не квантование, хер бы нам, а не доступ к некоторым моделям. как бесплатно, так и по доступным ценам.

#16910 2026-05-08 17:45:52

Анон

Re: Напиши мне историю, или текстовых ИИ тред

интересно, а гемини иначе объясняет:

▼техническая духота⬍

Как это можно было объяснить в два абзаца:
Квантование — это как сжатие фотографии из RAW-формата в JPEG с ограниченной палитрой. Миллиарды параметров (весов) нейросети группируются, и вместо точного значения каждого числа записывается усредненное значение для группы. При этом современные методы (AWQ, EXL2, GGUF) умные: они оставляют самые важные, критические веса («аутлайеры») в высоком разрешении, а жмут только те, что влияют на результат меньше всего.
Модель тупеет не потому, что у нее на выходе «слиплись слова в словаре», а потому, что из-за сжатых весов на каждом слое вычислений накапливается микро-ошибка. К тому моменту, как сигнал проходит через все 30-80 слоев модели, вектор смысла слегка сбивается с курса. Из-за этой накопившейся математической погрешности модель просто делает чуть менее логичный вывод и сама назначает слову «усмешка» более высокий приоритет, чем «улыбка», а не выбирает их случайным образом из-за одинаковых процентов.

#16911 2026-05-08 17:54:49

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Нам отчаянно нужен анон-технарь, способный объяснить нормально.

#16912 2026-05-08 17:58:05

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Верно про то, что веса сжимаются (кодируются с меньшей точностью). И то, что сейчас стараются сжимать менее важные веса сильнее, а более важные оставлять более точными.

#16913 2026-05-08 17:59:21

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

Нам отчаянно нужен анон-технарь, способный объяснить нормально.

Есть гугл) https://medium.com/@techresearchspace/w … ba61968a51 (на англ)

#16914 2026-05-08 23:29:41

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

способный объяснить нормально

Господи, сколько метафор, а если простым языком, не уходя в дебри, квантование = это округление числа.
У вас каждый параметр модели занимает 32 бита (4 байта) - это некое число.
Следовательно, для модели 1B (одного миллиарда таких чисел) нужно где-то 4 гб (чуть меньше). Для 70B уже около 140 гб только под веса.
Т.к. это очень много, мы округляем число. Оно занимало 32 бита, а мы его округляем до 16. Было у нас 3.1415927, а мы округлили до 3.14 (конечно, в реальности операция посложнее, но суть та же - примерно прикинуть значение)
Это приводит к повышению скорости (т.к. нам требуется уже в разы меньше памяти), но к меньшей точности. На fp16 нам надо на 50% меньше памяти, на int8 на 75% (!)

Как сильно от этого страдает точность? Вообще при нормальном квантовании не сильно. Нормально откалиброванный int8 потеряет 1%. А вот когда мы уже 4-bit, то до 59%

Отредактировано (2026-05-08 23:31:56)

#16915 2026-05-09 01:19:16

Анон

Re: Напиши мне историю, или текстовых ИИ тред

А fp4 сколько теряет? На  лично аноний  вкус дипсик от дипинфры на fp4 лучше пишет, чем дипсик от допустим  силикона  на fp8, но получается же fp4 сильнее квантован.

#16916 2026-05-09 01:36:07

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

А fp4 сколько теряет? На  лично аноний  вкус дипсик от дипинфры на fp4 лучше пишет, чем дипсик от допустим  силикона  на fp8, но получается же fp4 сильнее квантован.

насколько я попытался разобраться, фп4 и инт 4 - примерно одна и та же степень квантования (по размеру), но фп4 выполнена качественнее. типа... метод отличается. есть еще нф4, он уже лучше чем фп4.
у инта - целые числа (что дает больше погрешностей), у фп - плавающая запятая (которая позволяет настраивать более тонко важные параметры), у нф... тут сложнее. вроде как там вообще пересчет идет, чтобы было нормальное распределение весов. чтобы это ни значило.

Отредактировано (2026-05-09 01:39:18)

#16917 2026-05-09 01:43:56

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

А fp4 сколько теряет? На  лично аноний  вкус дипсик от дипинфры на fp4 лучше пишет, чем дипсик от допустим  силикона  на fp8, но получается же fp4 сильнее квантован.

кстати, мощности самого железа у провайдера тоже сильно роляют.
хотя может быть и в качестве квантизации дело тоже.

#16918 2026-05-09 11:05:55

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Аноны, а можете объяснить, по вашим сообщениям я не поняла, стали писать нейросети хуже или нет?

#16919 2026-05-09 11:15:03

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

Аноны, а можете объяснить, по вашим сообщениям я не поняла, стали писать нейросети хуже или нет?

В целом - нет. Дальше уже вкусовщина, кому-то нравится, кому-то не нравится.

#16920 2026-05-09 13:12:05

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

Порнуху может твиттерский грок переводить )

Это да, в плане всякой жести особенно грок в этом плане выручает, но я до этого только давала ему писать по моим промтам, а перевод я думала не очень будет. Сейчас забила этот же отрывок, на беглый взгляд вроде справился получше гугла.

Анон пишет:

Дипсику в его родном чате промт специфический и подробный нужен, чтобы он сосредоточился не на том, что порнуху/чернуху переводит, а на том, как он это делает технически

Анончик, а можешь научить, что для этого нужно добавить к обычному промту типа "переведи текст с такого-то на такой-то"?

#16921 2026-05-09 14:51:05

Анон

Re: Напиши мне историю, или текстовых ИИ тред

По моему опыту, Грок не может в большие тексты? По крайней мере, когда я закинул что-то больше 5 тыс слов размером, он вообще ничего не перевел. А кусками по паре тыщ слов вроде переводит.

Анон пишет:

а можешь научить, что для этого нужно добавить к обычному промту

Тоже интересно.

#16922 2026-05-09 17:07:17

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

а потом тут же убрал свой перевод и написал, что не может сейчас об этом поговорить и предложил сменить тему(( в нём можно как-то порнуху переводить?)

Я обычно успеваю скопировать текст у Дипсика до удаления. Правда, никогда не пробовала именно переводы, я прошу у него текст по собственным специфическим кинкам NC-21.
Как только он начинает печатать, сразу правой рукой мышкой выделяю текст и веду курсор вниз так, чтобы весь текст был выделенным целиком до конца все время. Левая рука в это время на клвиатуре в позиции Cntrl+C.  ;D Как только он заканчивает печатать, нажимаю - вуаля, вы великолепны, можете копировать из буфера куда угодно.
Иногда не успеваю скопировать, он удаляет быстрее, но в 9 случаев из 10 успеваю, т.к. удаляет не сразу, фильтр на запрещенку срабатывает только через 2-3 секунды.

Отредактировано (2026-05-09 17:08:05)

#16923 2026-05-09 17:14:39

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

Как только он начинает печатать, сразу правой рукой мышкой выделяю текст и веду курсор вниз так

Спасибо за лайфхак, если что, буду иметь в виду) а грок ты не пробовал для текстов по кинкам? Мне в целом нравится, как он пишет, цензуры нет. В дипсике не пробовала, потому что слышала как раз, что там цензура, но надо будет попробовать по твоему лайфхаку, когда буду за компом (с телефона думаю будет неудобно), и сравнить)

#16924 2026-05-09 17:15:32

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Дипсик именно с мобильного как раз вообще почти без цензуры пашет, надо очень постараться, чтобы фильтр включился.

Отредактировано (2026-05-09 17:15:38)

#16925 2026-05-09 17:18:44

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

именно с мобильного как раз вообще почти без цензуры пашет, надо очень постараться, чтобы фильтр включился.

.
Ты имеешь в виду приложение? Нет, там обычная цензура, триггерящаяся регулярно.

Подвал форума

Основано на FluxBB, с модификациями Visman
Доработано специально для Холиварофорума

▲