Холиварофорум

Это холиварка, здесь могут послать нахуй. Институт благородных девиц дальше по коридору.

Вы не вошли.

#1 2022-12-05 22:58:43

Анон

Напиши мне историю, или текстовых ИИ тред

Тред для обсуждения текстовых ИИ в контексте писательства: ролевых игр, додать себе редкопейринга, написать пейзаж для главы или подсказать вотэтоповорот.

▼ИИ для ролевых⬍
▼Общие ИИ⬍
▼Гайды и прочие развлечения с ботами⬍
▼FAQ⬍
▼Очень Полезные Ссылки⬍

Для удобства поиска отзывов используйте тег #ии_истории.


#18651 Сегодня 01:57:26

Анон

Re: Напиши мне историю, или текстовых ИИ тред

А, забыл про конфигурацию и настройки.)

▼машина⬍

Я гоняю модели на длинном контексте 80+К токенов (поэтому скорость соответствующая, т.к. большая часть слоев модели уходит в оперативку) и в групповом чате, где каждый персонаж должен писать отдельное сообщение от своего лица.

#18652 Сегодня 02:01:20

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

машина

Итить монстр! У меня одна 4070 и там едва 40к токенов влезает (вместе с системой). Из-за этого отказался от идеи поднимать у себя локальную модель.

#18653 Сегодня 03:04:40

Анон

Re: Напиши мне историю, или текстовых ИИ тред

Анон пишет:

У меня одна 4070 и там едва 40к токенов влезает (вместе с системой). Из-за этого отказался от идеи поднимать у себя локальную модель.

Тогда твой выбор - МоЕ модели. На самом деле Джеммы на 26B и Квены на 35B тоже вполне себе. А работают быстрее, чем плотные. Особенно если брать не большие кванты, а четверочку. И меньше страдают от выгрузки в оперативку, потому что на запрос активируются не все веса, а только часть, те, где сидят задействованные эксперты.


UPD:

▼Вот как раз ролик с разъяснениями ютуб подогнал⬍

Отредактировано (Сегодня 03:10:04)

Подвал форума

Основано на FluxBB, с модификациями Visman
Доработано специально для Холиварофорума

▲