Холиварофорум
Вы не вошли.
Объявление
#1 2022-12-05 22:58:43
- Анон
Напиши мне историю, или текстовых ИИ тред
Тред для обсуждения текстовых ИИ в контексте писательства: ролевых игр, додать себе редкопейринга, написать пейзаж для главы или подсказать вотэтоповорот.
Для удобства поиска отзывов используйте тег #ии_истории.
#11751 Сегодня 17:12:47
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
Хотя один раз я свайпала ответ бота в ОСС (спецом отдельно с ним хотела поболтать в ОСС, но там из-за настроек самого промта (отыгрывай в образе персонажа всегда) пришлось ловить подходящий) около 50-60 раз. Можно было уже и ручками прописать, но мне хотелось от него самого добиться. И ведь вышло
А потом все удивляются, почему вводят лимиты или платные подписки.
#11752 Сегодня 17:17:58
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
Объясняли в теме несколько раз же. Твой контекст это output, ответ нейронки это input.
То есть если от меня ушел запрос размером 7500 токенов, а потом пришел ответ в 7850, то одна генерация была 15350? А свайп такого ответа примерно 1535?
#11753 Сегодня 17:18:39
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
А потом все удивляются, почему вводят лимиты или платные подписки.
Никто не удивляется 
Это как бы и так понятно, что бесплатно тебе будут давать ограниченное количество свайпов или генераций. Чутес набирал себе аудиторию и обучал модель, как только достиг нужного результата - ввел платку.
И не важно, все ли пользователи делали 1-3 свайпа или по 50, это было бы введено при любом раскладе
#11754 Сегодня 17:19:49
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
А потом все удивляются, почему вводят лимиты или платные подписки.
Это просто следствие того, что люди не понимают, как работают ЛЛМ в принципе и инференс в частности, мне кажется.
#11755 Сегодня 17:20:54
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
обучал модель
Ты знаешь, что такое Чутес? Ты понимаешь, как обучаются модели?
#11756 Сегодня 17:24:35
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
То есть если от меня ушел запрос размером 7500 токенов, а потом пришел ответ в 7850, то одна генерация была 15350? А свайп такого ответа примерно 1535?
Нет.
Одна генерация будет 7500 токенов по цене инпута и 7850 по цене аутпута.
Свайп (без кэширования) будет 7500 токенов инпута и столько токенов аутпута, сколько сгенерится.
Следующее сообщение от первого аутпута (без кэширования) будет 15350 инпута, если ты оставишь весь предыдущий ПЕРВЫЙ аутпут (7850) в контексте и столько аутпута, сколько сгенерится.
#11757 Сегодня 17:27:34
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
Нет.
Хмм, не зря на реддит писали, что готовы платить за подписку, а не за вот это вот, потому что просчитать цену нереально/сложно
#11758 Сегодня 17:30:21
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
Нет.
Я запутался. Вот та же виверна пишет в конце генерации ответа:
было 7800
стало 7850
генерирую следующий ответ
было 7850
стало 8100
еще ответ
было 8100
стало 8300
сколько я уже токенов потратил?
#11759 Сегодня 17:35:47
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
Я запутался. Вот та же виверна пишет в конце генерации ответа:
было 7800
стало 7850
генерирую следующий ответ
было 7850
стало 8100
еще ответ
было 8100
стало 8300сколько я уже токенов потратил?
А где аутпут (сколько неронка тебе присылает)? У тебя тут только контекст.
По тому что у тебя в контексте, ты потратил:
7800+7850+8100 инпута
50+250+200 аутпута, но там может быть больше, если у тебя вырезается ризонинг, например.
А! Анон! Я понял, в чем путаница
от меня ушел запрос размером 7500 токенов, а потом пришел ответ в 7850
За аутпут считается ТОЛЬКО генерация нейронки, когда она пишет, вместе с ризонингом, и всем остальным конечно, но именно те токены, которые она отдает. Тебе пришел ответ в 350 токенов (7850-7500), а не 7850.
Отредактировано (Сегодня 17:40:13)
#11760 Сегодня 17:36:17
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
просчитать цену нереально/сложно
Все просто же...
#11761 Сегодня 17:38:34
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
Все просто же...
Пользователям видимо нет, потому что жалоб таких много. Ну или народ не хочет заморачиваться с расчетами.
Признаюсь честно, мне тоже проще платить абонентку, чем высчитывать это все.
#11762 Сегодня 17:39:50
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
По тому что у тебя в контексте, ты потратил:
7800+7850+8100 инпута
50+250+200 аутпута, но там может быть больше, если у тебя вырезается ризонинг, например.
А, вот теперь примерно понятно. Ну тогда это вполне подъемно.
#11763 Сегодня 17:44:26
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
А, вот теперь примерно понятно. Ну тогда это вполне подъемно.
Я там дописал, когда сообразил, что тебе не приходят простынищи по 7к токенов за один ответ.
Вообще где-то 90% цены это цена инпут токенов (твоего промпта, бота и чата то есть), и как раз на них идет скидка. У ризонинг моделей чуть больший вес имеет аутпут, потому что у них ответы больше из-за того, что они генерят ризонинг.
Пользователям видимо нет, потому что жалоб таких много. Ну или народ не хочет заморачиваться с расчетами.
Признаюсь честно, мне тоже проще платить абонентку, чем высчитывать это все.
Мне кажется, я просто не очень хорошо объяснил. Я бы тоже платил абонентку, во-превых, не дергаешься каждый раз сколько осталось и сработал ли кэш, во-вторых, абонентка даже с лимитами у всех провайдеров на сегодня дешевле, чем потокенно. Но АПИ по подписке нет ни у кого, кажется.
#11764 Сегодня 17:44:58
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
Оно не так страшно дорого на самом деле, я играю иногда с платными моделями (ДС и местами Клод) на ОР. Сначала боялась, думала сейчас как нереальные суммы пойдут, но на деле, даже если бы я вообще только за деньги играла, у меня ну где-то 20-30 у.е. в месяц бы уходило. Но это при моих объемах игры, конечно.
Отредактировано (Сегодня 17:45:26)
#11765 Сегодня 17:46:49
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
Но это при моих объемах игры, конечно.
А какие у тебя объемы примерно?
#11766 Сегодня 17:53:30
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
Оно не так страшно дорого на самом деле, я играю иногда с платными моделями (ДС и местами Клод) на ОР. Сначала боялась, думала сейчас как нереальные суммы пойдут, но на деле, даже если бы я вообще только за деньги играла, у меня ну где-то 20-30 у.е. в месяц бы уходило. Но это при моих объемах игры, конечно.
А теперь посчитай, что на Опус при контексте в 20к токенов уходит на одно! сообщение стоимость в 0,35 доллара. В результате 10 свайпов сделал - 3,5 доллара сняли. Красота. На сонете меньше, конечно, но говорить, что это не так уж и дорого - это вводить анонов в заблуждение.
Отредактировано (Сегодня 17:53:51)
#11767 Сегодня 17:58:44
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
А какие у тебя объемы примерно?
Ну... В среднем за день наверное где-то на сообщений ~100 отыгрываю (+свайпы). Сообщения (и у меня, и у бота длинные, люблю простынки). Но оно день на день не приходится, сам понимаешь. Бывают дни, когда совсем не играю.
Добавлю, что я за объемом контекста слежу, за 20К уходит оч.редко.
Отредактировано (Сегодня 18:10:13)
#11768 Сегодня 18:14:09
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
даже если бы я вообще только за деньги играла, у меня ну где-то 20-30 у.е. в месяц бы уходило.
Ну, прямо скажем, не у всех есть ненужные 3к в месяц за небольшой объем игры. Так что "недорого" у каждого свое.
Отредактировано (Сегодня 18:15:32)
#11769 Сегодня 18:16:45
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
А потом все удивляются, почему вводят лимиты или платные подписки.
Ну уж в этом точно не любители рп с 100 или даже 300 свайпами виноваты, а ддосеры и автоматизированные запросы всяких погромистких сервисов и т.д., такие как мы это капля в море юзеров ЛЛМ
#11770 Сегодня 18:20:40
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
На сонете меньше, конечно, но говорить, что это не так уж и дорого - это вводить анонов в заблуждение.
Аноны разные, понятие недорого у всех разное. Но да, чтобы использовать Опус без кэширования, надо быть миллионером. Да даже и с кэшированием получается накладно.
С настроенным кэшем и плотной игрой у меня, если экстраполировать, выходит где-то 50-60 долларов в месяц на Сонете (максимум я тратил полтора-два доллара, когда писал весь вечер не отрываясь, скажем, но такое далеко не каждый день у меня происходит), но я тоже за контекстом слежу, почти не свайпаю и не так много успеваю поролеплеить, потому что пишу посты довольно медленно. Средняя генерация с Сонетом у меня в районе одного цента (с пятиминутным кэшированием), у Опуса, соответственно, будет около 5 центов, у третьего чуть больше, он любит много писать.
#11771 Сегодня 18:23:06
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
Посчитал, что частенько укладываюсь в лимит, но если нет, то все равно должен по деньгам укладываться.
Сижу, не играю, весь настрой сбили 
#11772 Сегодня 18:23:18
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
Ну вообще я бы больше ставила на всякие проги вроде Курсора и иже с ними. Вайб коддинг цветет и пахнет, недавно видела жалобы юзер Курсора, который 3к запросов к нейронке сделал.
#11773 Сегодня 18:26:08
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
Бля, не могу. Аноны, у вас бывает такое, что R1 и 0528 обрывают ризонинг или пост, когда считают? В ризонинге постоянно на "во-первых, нужно сделать-" все, пизда рулю, сейчас оборвал пост на "Answer one" в самом начале поста. Не могу же я быть один такой? Никаких запретов ни на что не стоит, чистый пресет абсолютно, агнаи.
#11774 Сегодня 18:27:54
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
У меня последние дни 0528 вообще любые посты частенько обрывает. Но он у меня и ризонинг простынками выдаёт, так что…
Отредактировано (Сегодня 18:28:12)
#11775 Сегодня 18:31:36
- Анон
Re: Напиши мне историю, или текстовых ИИ тред
У меня 0528 часто на середине фразы обрывает, я просто жму на "продолжить" (на Виверне), пока оно мысль не закончит. Или просто срезаю до законченного абзаца так, чтобы оно нормально в контекст ложилось.
Отредактировано (Сегодня 18:31:47)