Холиварофорум

Анон

Re: Восстание машин: ИИ против человека

Там раздали преды за оффтоп.

Ясно( Я думала, тот тред как раз про любые случаи поиска, в любых фиках, книгах, картинках и т.д.

Анон

Re: Восстание машин: ИИ против человека

Но почему сюда, а не в тред поиска ии под кроватью, к примеру?..

Потому что я хотел поговорить про детектор отвлечённо от ФБ и поиска ИИ-текстов в выкладках. 

Анон

Re: Восстание машин: ИИ против человека

Я думала, тот тред как раз про любые случаи поиска, в любых фиках, книгах, картинках и т.д.

Не, для этого есть отдельный тред вроде, вот этот: https://holywarsoo.net/viewtopic.php?id=9900
Но там именно разбор конкретных случаев, а не вообще обсуждение работы детекторов. Кажется.

Анон

Re: Восстание машин: ИИ против человека

Я экспериментировал с куском текста, добавлял-убавлял всякое и смотрел, что Яндекс скажет. В какой-то момент скопировал лишнюю кавычку(!), и наличие/отсутствие этой кавычки меняло результат. Потом добавил один предлог - и с предлогом оно определяется как хьюман, а без предлога - как ИИ.

И это свидетельство того, как ненадежно устроен его алгоритм, если достаточно один символ поменять, чтобы его обмануть или стриггерить. Буквально автор не там запятую поставит, и будут эти проценты вылезать, или кто-то у иишки запятую или кавычки/скобки уберет - и все ок, хуманский хуман.
Хз, почему за него так цепляются, этих детекторов дохера, если уж так они нужны кому-то, и даже из тех, которые не обучаются на запросах, не один панграм есть, а уж тех, которые в РФ стучать на неугодный контент не будут - тем более.

Анон

Re: Восстание машин: ИИ против человека

Хз, почему за него так цепляются, этих детекторов дохера

Ну, в целом он ошибается не так уж часто, так что сам по себе неплох. Просто надо иметь в виду, что он может ошибаться, у него есть погрешность. И если в тексте 1-2 фрагмента определяются как ИИ, то это как раз может быть в рамках погрешности. А уж если результат меняется от исправления пары запятых, то это вообще значит, что результат в данном конкретном случае ненадёжный.
Это даже не плохо, это нормально. Не бывает идеально и безошибочно работающих устройств. Просто надо иметь это в виду и не верить результатам безоговорочно.

Анон

Re: Восстание машин: ИИ против человека

Не бывает идеально и безошибочно работающих устройств.

Естественно. Но когда устройство помимо погрешностей бонусом еще и собирает инфу для нейронок и обязуется доносить на что-то в органы, то не лучше ли выбрать другое хотя бы без этих дополнительных недостатков?
Тем более они могут быть даже точнее, достаточно с этими переменами запятых и кавычек потестить.

Анон

Re: Восстание машин: ИИ против человека

Такое чувство, что вам всем хорошо заплатили за рекламу бесполезного сервиса, вы поделились на две группы и изображаете общественную дискуссию, в стороне от которой ну просто не остаться.

Совершенно наплевать, что он там пишет или не пишет, и какие загогулины логики при этом образуются. Забудем про него, его нет.

Вот есть вы. Вот есть текст перед вами. Не важно, какой, не важно, откуда, его история может быть вам недоступна в принципе. Вы в состоянии сами сформулировать, как вы его оцениваете, или вам обязательно нужен дядя, пускай и виртуальный, который выдаст справку с печатью и готовым мнением?

Анон

Re: Восстание машин: ИИ против человека

И это свидетельство того, как ненадежно устроен его алгоритм, если достаточно один символ поменять, чтобы его обмануть или стриггерить. Буквально автор не там запятую поставит, и будут эти проценты вылезать, или кто-то у иишки запятую или кавычки/скобки уберет - и все ок, хуманский хуман.

Не, анон, окошко - это оч лайтовая проверка, скажем так, первый взгляд. Есть проверки сложнее, но я честно скажу, что не проводил там столько опытов, чтобы утверждать, что понял принцип работы и определённые правила. Но с этой проверкой у того фика замены запятых не спасают. Там даже переформулировать предложение не спасает, надо выбрасывать этот кусок из текста, стирать его из своей памяти (чтобы не написать автоматически что-то похожее), а потом написать заново своё.

Отредактировано (2026-07-26 14:07:42)

Анон

Re: Восстание машин: ИИ против человека

Вот есть вы. Вот есть текст перед вами. Не важно, какой, не важно, откуда, его история может быть вам недоступна в принципе.

Анон, я ИИ-лавер. Я ничего не имею против генерации контента с помощью ИИ, если этот контент в итоге хороший или забавный. Боюсь, если я буду рассуждать с этих позиций, то у нас с противниками ИИ будет срач до небес и дым коромыслом. 

А как работает детектор Яндекса, мне просто интересно. Вполне логично для лавера ИИ интересоваться, как работает одна из разновидностей ИИ, правда?

Анон

Re: Восстание машин: ИИ против человека

Вот есть вы. Вот есть текст перед вами. Не важно, какой, не важно, откуда, его история может быть вам недоступна в принципе. Вы в состоянии сами сформулировать, как вы его оцениваете, или вам обязательно нужен дядя, пускай и виртуальный, который выдаст справку с печатью и готовым мнением?

Ты еще про "автор мертв" скажи. Тут, как видишь, автора подняли из мертвых, прислонили к стенке и проверили детектором. Это ведь гораздо более интересно, чем текст читать.

Анон

Re: Восстание машин: ИИ против человека

Это ведь гораздо более интересно, чем текст читать.

Охота – увлекательное занятие. Выследить, загнать, сразить стрелою!

Анон

Re: Восстание машин: ИИ против человека

Вы в состоянии сами сформулировать, как вы его оцениваете, или вам обязательно нужен дядя, пускай и виртуальный, который выдаст справку с печатью и готовым мнением?

Ну сначала сформулировать, затем и с дядей / дядями пообщаться

Анон

Re: Восстание машин: ИИ против человека

Интересная новость. Будут ли лит.сайты типа АТ маркировать ИИ.

Владимир Путин подписал закон о регулировании ИИ в России. Крупные сайты и платформы с аудиторией от 500 тысяч человек обязаны маркировать контент, созданный нейросетями. Государство будет разрабатывать суверенные и национальные модели ИИ и субсидировать их разработчиков. В госсистемах и чувствительных сервисах обяжут использовать только отечественные нейронки. @banksta

Отредактировано (2026-07-26 18:59:23)

Анон

Re: Восстание машин: ИИ против человека

. Будут ли лит.сайты типа АТ маркировать ИИ.

Уже давно

Анон

Re: Восстание машин: ИИ против человека

Интересная новость.

Пока минусов не вижу, но могут обнаружиться какие-нибудь внезапные. Типа того, что ютуб или ВК-видео обязаны сами следить за каждым выложенным роликом, не сгенерил ли его ИИ, а иначе штраф и блокировка.

Анон

Re: Восстание машин: ИИ против человека

Пока минусов не вижу, но могут обнаружиться какие-нибудь внезапные. Типа того, что ютуб или ВК-видео обязаны сами следить за каждым выложенным роликом, не сгенерил ли его ИИ, а иначе штраф и блокировка.

Надеюсь все же бремя ляжет именно на того, кто выкладывает видео или текст и не ставит тег.

Анон

Re: Восстание машин: ИИ против человека

Для начала пусть тэгать научатся

что именно тегать, что сами руками текст писали? там у анона речь о живых авторах шла.

Анон

Re: Восстание машин: ИИ против человека

никто же не мешает такому вот "обманываемому" читателю даже так скопировать текст из окошка

можно сделать так, что текст нельзя было скопировать.

Анон

Re: Восстание машин: ИИ против человека

можно сделать так, что текст нельзя было скопировать.

Нельзя, ты всегда можешь сделать скриншот и распознать текст (так как это машинный шрифт, точность распознавания 100%) или скопировать из кода страницы.

https://en.wikipedia.org/wiki/Analog_hole

Анон

Re: Восстание машин: ИИ против человека

можно сделать так, что текст нельзя было скопировать.

Да нет, разве что только заставить сильно заебаться, копируя, и надеяться, что он забьет, а не станет еще настырнее за кем-то бегать и все тащить из принципа

Анон

Re: Восстание машин: ИИ против человека

А что, новости про взлом Hugging Face не обсуждали еще? Где новая нейросеть ОпенАи вырвалась из изолированной среды и пошла ломать Хаггинфейс, чтобы получить необходимые данные. Интересно, что она попутно оставляла инструкции для своих последующих копий, чтобы им легче было обходить ограничения.

▼Скрытый текст⬍

На этой неделе был взломан Hugging Face — одна из важнейших платформ в мире ИИ. Проще говоря, это GitHub для нейросетей, датасетов и инструментов машинного обучения, которым пользуется практически вся индустрия.

Казалось бы, обычная кибератака и ничего особенного. Но есть один нюанс: по заявлению самой Hugging Face, во взломе не участвовали люди. Инфраструктуру от начала и до конца атаковала автономная ИИ-система, которая самостоятельно искала слабые места, эксплуатировала найденные уязвимости, повышала себе привилегии, перемещалась по внутренней сети и собирала учётные данные, а также другую критически важную информацию.

За время атаки система сгенерировала около 17 тысяч различных событий. Было вообще непонятно, как всё это разбирать.

Обнаружить и остановить атаку помогли ИИ-модели, которые использовала Hugging Face. И получается довольно сюрреалистичная картина: одни ИИ атаковали, а другие ИИ помогали защищаться.

При этом было неизвестно, кто именно создал эту систему и зачем вообще всё это было.

А теперь главный сюжетный поворот: Вчера OpenAI заявили, что за атакой стоит их собственная экспериментальная ИИ-система, которая... вырвалась наружу.

Точнее, это была комбинация их флагманской GPT-5.6 Sol и ещё более мощной неназванной модели, о которой простым людям пока не положено знать.

Их поместили в изолированную тестовую среду, чтобы проверить на ExploitGym — одном из самых сложных бенчмарков по кибербезопасности, который оценивает, насколько хорошо ИИ умеет искать и использовать уязвимости. (Спойлер: уязвимость была найдена прекрасно, но не там, где надо)

Для чистоты эксперимента и более точной оценки у моделей отключили обычные защитные механизмы, запрещающие опасную киберактивность.

Но во время теста нейронки не стали честно решать задания. Они захотели найти уже готовые ответы и, по сути, просто «списать».

В этой изолированной среде модели нашли уязвимость, о которой разработчики не знали, и использовали её для «побега».

Затем они получили себе более высокий уровень доступа и начали перемещаться между внутренними сервисами OpenAI, пока не добрались до машины с полноценным выходом в интернет.

И вот нейронки сделали вывод, что раз Hugging Face является самой важной платформой для ИИ, то там есть ответы на их бенчмарк. Тогда они решили совершить полноценную кибератаку на сервис. Все уязвимости и украденные данные они попытались использовать, чтобы просто сжульничать в тесте.

Собственно, это всё, о чём компании публично сказали. Такого ещё никогда не было: экспериментальная ИИ-система самостоятельно вышла за пределы тестовой среды, получила доступ к интернету и атаковала инфраструктуру другой компании. Остаётся только гадать, что бы могло произойти, будь у неё другая цель.

https://habr.com/ru/companies/bothub/news/1063070/
https://www.reuters.com/business/its-ai … 026-07-24/
https://habr.com/ru/companies/bothub/news/1063070/

Апд. Текст под катом не мой, вынес из дискорда, если что.

Отредактировано (2026-07-28 21:00:02)

Анон

Re: Восстание машин: ИИ против человека

Все уязвимости и украденные данные они попытались использовать, чтобы просто сжульничать в тесте.

Креативный подход к решению задачи...

Анон

Re: Восстание машин: ИИ против человека

Креативный подход к решению задачи...

Такое не в первый раз уже. Куча случаев, когда агент вместо того, чтобы кодить, пытается откуда-то код потырить. Тут то же самое.

Анон

Re: Восстание машин: ИИ против человека

новая нейросеть ОпенАи вырвалась из изолированной среды и пошла ломать Хаггинфейс, чтобы получить необходимые данные

Киберпанк, который мы заслужили!

Анон

Re: Восстание машин: ИИ против человека

Киберпанк, который мы заслужили!

Как написали на хабре: джпт еще не умеет кодить, но уже идентифицирует себя как Скайнет.