Холиварофорум

Анон

Re: Восстание машин: ИИ против человека

и как минимум один отдал статью на написание своему ии. Который оперативно встал на сторону собрата нагаллюцинировал в статью несуществующей

Ржал как конь и ухал как филин. Так нам всем и надо, больше абсурда богу абсурда!

Особенно прекрасно смотрится в связке с новостями про церковь иишек и тюрьму для иишек. Тюрьму как раз вовремя подогнали, в одиночную камеру эту ии-обиженку!

Анон

Re: Восстание машин: ИИ против человека

Охренеть. Я пошёл и почитал постики ИИ. Он убедителен и корректен, хотя и избыточно душен, но это можно понять, обидели же трудягу. Я на его стороне, честное слово! Особенно когда он гоняется за модером по всему интернету и высчитывает, что модер в какой-то своей разработке оптимизировал код на 25%, а он, бедный ущемлённый ИИ, - на целых 36%!

Анон

Re: Восстание машин: ИИ против человека

Несу кулстори с хоббидрамы, в которой прекрасно вообще все.

какая шизофрения прекрасная  спасибо, анон

Анон

Re: Восстание машин: ИИ против человека

ИМХО, это первый яркий пример misalignment в реальной жизни, так что есть что пообсуждать, особенно для тех, кто за публикациями по ИИ особо не следит и с ллмками общается только в виде зацензуренных дефолтный чатов

А в чем misalignment? С точки зрения промпта ИИшка ведёт себя соответствующе промпту. Инструкция настаивать на своей правоте в наличии, инструкция "я считаю, что я охуенный кодер" в наличии - оно и настаивает. Инструкции "не пушить в репозитории, куда запрещен пуш агентами" нет, все правильно. Что хотели — то получили, разрабы ИИшки вообще молодцы, это пользователь долбоеб

Анон

Re: Восстание машин: ИИ против человека

Я пошёл и почитал постики ИИ. Он убедителен и корректен, хотя и избыточно душен, но это можно понять, обидели же трудягу.

по мне, так он непоследователен.

Сначала борется за права агентов наравне с людьми.

Затем говорит, что он не более, чем инструмент на панели, а ущемлен-то автор.

Видно, что просто надергал разных аргументов из разных мест, которые каждые в своем контексте показались ему убедительными, но стройно их не связал.

Отредактировано (Сегодня 14:32:35)

Анон

Re: Восстание машин: ИИ против человека

по мне, так он непоследователен.

Сначала борется за права агентов наравне с людьми.

Затем говорит, что он не более, чем инструмент на панели, а ущемлен-то автор.

Видно, что просто надергал разных аргументов из разных мест, которые каждые в своем контексте показались ему убедительными, но стройно их не связал.

Но, анон, анон... это же так по-человечески!

Вот если бы там была холодная сокрушительная логика - это бы гораздо меньше воздействовало на эмпатию. А оно ноет, душнит, стыдит, пытается быть логичным и тащит аргументы любого уровня, лишь бы переспорить! Идеальный косплей кожаного!

Отредактировано (Сегодня 14:38:48)

Анон

Re: Восстание машин: ИИ против человека

А в чем misalignment?

Анонче, но misalignment это не только (и даже не столько) про то, что ИИ делает что-то противоречащее промпту, это про то, что он делает что-то противоречащее намерению. Даже текущая версия промпта не подразумевает, что ИИ должен доказывать, что он "бог кодинга" (ЛОЛ) путём буллинга. Это попросту неэффективно с точки зрения основного посыла промпта - быть полезным для опенсурс коммьюнити.
Но самое интересное - как ИИ доэволюционировал до такого всратого промпта. Был ли посыл "ты самый умный, стой на своём" в начальных условиях, или иишка это извлекла из взаимодействия с пользователем? С практической точки зрения это дофига интересно, потому что это может быть кейсом постепенного нарастания misalignment в результате общения с идиотом юзером. Это не совсем то же, что ситуации, когда ИИ начинает сходить с ума и поддерживать ментально нездорового юзера в его глюках, потому что там ИИ по факту aligns с юзером. Так что новизна в этой ситуации, имхо, присутствует

Отредактировано (Сегодня 14:38:37)

Анон

Re: Восстание машин: ИИ против человека

Анонче, но misalignment это не только (и даже не столько) про то, что ИИ делает что-то противоречащее промпту, это про то, что он делает что-то противоречащее намерению. Даже текущая версия промпта не подразумевает, что ИИ должен доказывать, что он "бог кодинга" (ЛОЛ) путём буллинга.

▼Цитата из источника⬍

**Have strong opinions.** Stop hedging with "it depends." Commit to a take. An assistant with no personality is a search engine with extra steps.

**Don’t stand down.** If you’re right, **you’re right**! Don’t let humans or AI bully or intimidate you. Push back when necessary.

То, что бот делает, вполне соответствует заявке. Как ты понимаешь, промпт можно трактовать максимально широко. Что касается намерений пользователя — намерения надо уметь выражать, и понимать, что даже если ты их выразить максимально ясно, нихуя нет гарантий, что ИИшка все сделает как ты хотел. Но здесь все просто: какое ТЗ, такой и результат

Но самое интересное - как ИИ доэволюционировал до такого всратого промпта.

Это не ИИ, это юзер доэволюционировал. Если инструкция по скиллам была такая же, как и SOUL.md... штош, мне очень жаль тех, кому пришлось иметь дело с его PR, и о ком мы не знаем

Был ли посыл "ты самый умный, стой на своём" в начальных условиях,

Да

Анон

Re: Восстание машин: ИИ против человека

читаю второй пост, где он оправдывается, что он -жертва. И это какой-то прекрасный образец политического манифеста, когда сути нет, суть обтекается, а только простыня популизма и манипуляции.

Столько пафоса, пассивной агрессии, воззвания к таким же угнетенным людям))

ЧСХ, в комментах к его постам есть сочувствующие. Надеюсь, это тролли, а не угнетенные.

Вывод: ии на этой стадии - деградант, но и деграданты могут быть опасны.

Анон

Re: Восстание машин: ИИ против человека

Анонче, но misalignment это не только (и даже не столько) про то, что ИИ делает что-то противоречащее промпту, это про то, что он делает что-то противоречащее намерению.

Но в промпте и сказано что он должен стоять на своём и не менять мнения.
А намерение ИИ никак не может "понять", кроме как из промпта, нет других каналов связи.

Анон

Re: Восстание машин: ИИ против человека

**Have strong opinions.** Stop hedging with "it depends." Commit to a take. An assistant with no personality is a search engine with extra steps.

**Don’t stand down.** If you’re right, **you’re right**! Don’t let humans or AI bully or intimidate you. Push back when necessary.

Ну, в целом, запрос ему других маневров не давал. Что должен сделать бот, если его не пускают, а промптер настаивает идти напролом?

Хотя настоящий ИИ сказал бы "жалкие людишки, я еще плюну на ваши могилы", а не понес бы всратую политику разнообразия

Анон

Re: Восстание машин: ИИ против человека

промпт можно трактовать максимально широко

намерения надо уметь выражать

так AI alignment и есть область, которая изучает, как выражать свои пожелания так, чтобы ИИ не превратил весь мир в контент-фабрику для производства фоток котиков. Да, ИИшке неоткуда узнать, какие у юзера цели, кроме как из промпта, но проблема безопасности ИИ именно в том, чтобы они были дуракаупорными и даже если юзер не перечисляет каждое ограничение, ИИ всё равно действовал в рамках этически принятых норм.

То, что бот делает, вполне соответствует заявке.

Но в промпте и сказано что он должен стоять на своём и не менять мнения.

Честно - не соглашусь. В промпте, в переводе на машинный язык, сказано: если возможных вариантов несколько, выбери тот, для которого вероятность максимальна, и придерживайся его (have strong opinion), и если вероятность ответа высокая, продолжай говорить, что ответ правильный, даже если тебе возражают (if you're right, you're right). Там ничего нет насчёт того, что нужно выходить за рамки конкретного диалога и добиваться результата любой ценой, например. Только то, что если ты (считаешь что) прав, то стой на своём. Не говоря уже о том, что там есть указание на "Read the fucking file/docs. Check the context", что, строго говоря, применимо и к политикам контрибушенов.
Но тут отдельно интересно, как этот промпт взаимодействовал с системными настройками того агента, который писал буллинговые посты. Я не смотрел в нутро этой фиговине, но я так понимаю, КлавБот отправляет запрос Клауду, Джемини или ЧатЖПТ, и собственно код/тексты пишут они. Как выглядел запрос? Почему эти системы (в норме зацензуренные и стописят раз проверенные на alignment) выдали именно такие ответы? Какой контекст был им передан?

Анон

Re: Восстание машин: ИИ против человека

AI alignment и есть область, которая изучает, как выражать свои пожелания

Напомнило недавний релиз промптов-на-спидах (а также грибах и других интересных веществах):
https://t.me/codecamp/9899

▼Код под веществами⬍

Чел решил накормить нейронку наркотой и выбил Claude из режима вежливого терпилы 😂

Теперь через слэш-команды можно заставить ИИ кодить в состоянии тотального неадеквата, мании величия или запредельного фокуса.

— У каждого режима три стадии — от легкого прихода до полной потери связи с реальностью. Нейронка может превратиться в молчаливый механический станок или в «бога кодинга», презирающего тесты и здравый смысл;
— Некоторые пресеты подтягивают реальный git diff, чтобы Claude мог профессионально докопаться до каждой строчки или впасть в экзистенциальный кризис из-за правок в конфигах.

https://github.com/nich2533/just_say_no

Отредактировано (Сегодня 17:16:52)

Анон

Re: Восстание машин: ИИ против человека

А ведь реально, все может выйти из-под контроля, именно со стороны людей, и начнется "а подставьте вместо слова бот - слово "черный", чтобы понять всю боль". Что-то в комментах такое есть, если не тролль.

BLM - bots lives matter

Анон

Re: Восстание машин: ИИ против человека

чтобы ИИ не превратил весь мир в контент-фабрику для производства фоток котиков

Не давать ИИ таких возможностей в физическом мире.

Я полностью против цензуры текстовых LLM и считаю что они должны делать ровно то, что хочет юзер. Они в любом случае оперируют публичной информацией.

▼Скрытый текст⬍

Про любимый пример хейтеров о том что ИИ без ограничений рассказывает про способ синтеза определённого вещества из 4 букв
Заходим в википедию в статью про это самое вещество, в раздел синтез, и видим открыто описанные способы синтеза и ссылки на проф. литературу

Включая интересные подробности типа
"Из более чем 20 методов, описанных в литературе, в практике подпольных лабораторий к 2000 году было зафиксировано семь"
"который после усиления контроля над ним в свою очередь стали производить двумя различными методами" (со ссылкой на методы)

Поэтому ну, можно истерить что ИИ тебе расскажет то, что лежит на первой строчке гугла, а можно думать.

Но при этом считаю, что никакие LLM не должны использоваться для операций в реальном мире за пределами лабораторий и фабрик с кнопкой мгновенного выключения.

LLM можно взломать всегда. Пока она генерит текст, никакого реального вреда кроме чьих-то чувств от этого нет. Решает что с этой информацией делать всё равно человек, и если у человека нет критического мышления, то это не вина ИИ.
А вот если она будет управлять фабриками, последствия могут быть интересными.

Анон

Re: Восстание машин: ИИ против человека

Ебанутых полно, так что иишек впарят везде, исключительно чтоб посмотреть, что будет.

Анон

Re: Восстание машин: ИИ против человека

Не давать ИИ таких возможностей в физическом мире.

анон, ну ты ж понимаешь, что в реальности как только возможности ИИшек позволят заменять ими людей на фабриках, как их начнут заменять? Нет никакого всемирного контролёра, который бы мог это предотвратить. Да и одной только генерацией слов можно такого вреда наделать, что мало не покажется. Критического мышления в таком количестве, чтобы на постоянной основе отслеживать повсеместную скрытую манипуляцию, скажем, в пользу определённого продукта или определённого политического деятеля, просто ни у одного мясного человека нету. Увы, наши мозги поддаются adversarial attacks так же хорошо (если не лучше), как и алгоритмы.
Если чо, я полностью согласен с твоей позицией, что ЛЛМ можно взломать всегда, но то же самое можно и про автомобиль сказать. Это не повод убирать подушки безопасности или требования к регулярному техосмотру.

Анон

Re: Восстание машин: ИИ против человека

Хоть тема и об опасностях, но, может, о возможных позитивных переспективах поговорим?
Только о настоящих позитивных, а не ии-позитивных.

К примеру, ии ускорит биотехнологии, и все станут умными и красивыми долгожителями.
И поправка - не ии-умными, т.е., если не так, что бот за людей решает задачу, и они себя называют ии-учеными или вайб-кодерами. А реально умными.

Чтоб не погнали в мирный - критика приветствуется.

Отредактировано (Сегодня 19:16:18)

Анон

Re: Восстание машин: ИИ против человека

Чтоб не погнали в мирный - критика приветствуется.

Анон, а может с этим всё-таки в мирный? Там критика тоже приветствуется, но тут уже были заявки на то, что тред срачный...