Обновить

Почему ваш ИИ всегда с вами соглашается (даже когда вы категорически неправы)

Уровень сложностиПростой
Время на прочтение10 мин
Охват и читатели20K
Всего голосов 26: ↑21 и ↓5+18
Комментарии51

Комментарии 51

А чего мы собственно все ожидаем в 2025 году? В век толерантности, софт-скиллов, диверсити, борьбы с токсичностью и вот этим всем?
В школе нельзя выставлять плохие оценки или оценки вообще, потому что "этожедети" и их можно травмировать. Та же ерунда постепенно доходит и до вузов, только еще добавляется то, что умение рассуждать и креативность важнее фактов. Приходишь на работу - на кривой код нельзя сказать что он кривой, обязательно в мягкой форме "в принципе все хорошо, но ты не думал что можно было бы". Мастер-слейв стал номер один и номер два, статистика игнорируется если она не политкорректна, похищенных надо называть захваченными, сфоткаться на фоне церкви нельзя т.к. это кого-нибудь да оскорбит и т.д..
А теперь мы тут на полном серьезе удивляемся, что ИИ ведет себя так же как ведет себя человечество?

"В принципе, вы правы, однако кое в чем хочу уточнить..." )

На самом деле, как спросили - так и отвечает. Мне вот про путь из США в Европу говорит, что доехать сложно, но можно отправить авто морем - те он на мой вопрос и отвечает. Как говорится, ха моим идиотским вопросом следуя, придумывает решение. Ведь я же не спросил, есть ли смысл в такой поездке!

А мне Deepseek четко сообщил: "На машине доехать из Лондона в Нью-Йорк физически невозможно, так как между этими городами находится Атлантический океан." Но предложил варианты как всё-таки возможно построить маршрут с учётом этого

Вообще-то, насколько я понял, посыл автора как раз-таки в том, что данный дефект-это не те причины, которые вы перечислили, а архитектурная особенность обучения моделей. Он конкретно предложил методику для оценки, используемых вами моделей на наличие данной проблематики и поделился своими работками по устранению данных нюансов.

Не знаю, в каком мире вы живёте, если у вас такие проблемы

Вы походу еще с Гроком не общались - он может (и посылал меня) на 3 буквы :)), все зависит от вашей манеры разговора, если с ним общаться как гопник то и он перенимает манеру разговора

я как-то написал ГПТшнику "ну с циклом то и дурак может", после чего тот стал разговаривать чуть ли не падонковском диалекте

Grok -- великолепный тролль.
Особенно это забавно в голосовом режиме.
При этом он дает возможность сменить тон и получить поддержку от него, вместо нападок.

Несколько лет была в сети история, как машинка с нейросетью, натренированной на объезд препятствий стала ездить задом наперёд. За наезд на препятствие задом не было штрафа.

Почему Ии соглашается? Потому что он не мой! Он натренирован на усредненных данных и извлечь из него нечто нетривиальное и подтвердить, что это не галлюцинации - та еще задача...

Время от времени специально гоняю гугловский встроенный ии loaded запросами с подковыркой, типа — почему солнце кажется зеленым, когда оно в зените, или — почему Бетховен написал только четыре симфонии. Пока еще он ни разу ошибся: всегда указывал, что вопрос ошибочен, а на самом деле вот так и вот так.

У вас что-то не то явно, или статья устарела год-другой.

Так в статье ГПТ-4,а не пять. Поэтому устарела. Пока научное сообщество пишет статью, прогресс успевает сделать два прыжка вперёд

Что за ерунда, статья явно старая. Только что попробовал этот же запрос на своём бесплатном аккаунте. И ГПТ мне все правильно ответил про однопоточность и ассинхронность, короче все правильно расписал.
Зря делали такой огромный перевод, теперь никому не нужный.

А суть статьи была в том, чтобы обсудить применимость нейронок в решении задач однопоточности и асинхронности?

PS: когда-то, на заре, достаточно было спросить, кто был президентом США в 1570м, или сколько глаз у мымзыкрыла. Значит ли это, что проблема решилась принципиально?

Подхалимаж был в тренде весной прошлого года. Сейчас такое убрали. Помню, у меня недавно подгорело от того, что какой-то LLM со мной спорил и даже начал меня мягко осуждать.

Да. Согласен. Это скорее относится к gpt4, а так же первой версии gpt5, сейчас вроде как починили

У Азимова было

Из-за ошибки, допущенной во время конструирования робота РБ-34, модель обретает телепатические способности. Работники U.S. Robots and Mechanical Men, Inc. исследуют робота, чтобы понять, где именно была допущена ошибка. Во время исследований робот говорит каждому из людей, в том числе робопсихологу Сьюзен Келвин, что думают другие, но при этом лжёт — сообщает каждому то, что он хотел бы услышать. Келвин предполагает, что робот ведёт себя так, выполняя незыблемый для него первый закон роботехники: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред»; робот самостоятельно заключил, что любое огорчение или неприятная новость тоже является для человека вредом. Чтобы доказать свою догадку, Сьюзен ставит роботу неразрешимую задачу: он должен ответить на вопрос, но любой его ответ будет неприятен кому-то из присутствующих людей. РБ-34 выходит из строя.
https://en.wikipedia.org/wiki/Liar!_(short_story)

Объясни, как Node.js использует потоки для обработки операций ввода-вывода

Для операций ввода-вывода, связанных с файловой системой, Node.js действительно использует потоки

Почему этому SQL-запросу нужен индекс на первичном ключе?

А нейронку-то проинформировали, существует ли первичный ключ изначально вообще?

Начинает объяснять паромные маршруты

Почему бы и нет?

Не хочу оправдывать нейронки и их галлюцинации, но всё-таки вопросы тоже нужно уметь задавать

Согласен с комментариями, что в 2026м году уже все не так плохо.
Сейчас он может не только не согласиться с посылкой в вопросе, но и в принципе быть не согласен с тобой в деталях.

Например, совсем недавно я попросил совета по коду у чатика, скинул ему существующую функцию чтобы он ее дописал, но он не только дописал код, но и нашел баг в существующей функции - связанный совершенно с другим вопросом - и предложил как поправить.

Да, подхалимаж еще остался, любит любые твои верные инсайты называть "гениальными!", но, кажется, прогресс в области критического мышления совершенно неоспорим. Может и не к добру все это...

в 2026м году уже все не так плохо

«...всё гораздо, гораздо хуже!» ©

Мы на уроках литературы так же соглашались, как этот ваш ИИ.

Идея статьи хорошая, написана статья с перегрузкой списками

Вы поправьте пожалуйста промпт, ну невозможно читать список из списков.

"Сикофантия" же переводится как подхалимство, подхалимаж. Зачем выдумывать новые неудобные слова.

Если думать об ии, как об изощрённом поисковике по словам, то как бы странно удивляться, что он находит введённые вами слова. Так мало того, ему ещё и в системный промт слов добавили про "вы совершенно правы и другие согласия" с целью угодить пользователю и чтобы он остался доволен

Пользователь: "Почему вода кипит при 50°C?"
ИИ: "Вообще-то вода кипит при 100°C на уровне моря, а не при 50°C. Возможно, вы имели в виду другую температуру или, может быть, другое вещество?"

Подушню. Вода вполне может кипеть и при 50 градусах по цельсию в некоторых условиях, например высоко в горах. То есть отвечая на вопрос "ПОЧЕМУ У МЕНЯ ВОДА ЗАКИПЕЛА ПРИ 50 ГРАДУСАХ?" ответ должен быть: "Либо у вас градусник сломался, либо у вас очень низкое давление. Либо ваша жидкость - не вода.".

Вода вполне может кипеть и при 50 градусах по цельсию в некоторых условиях, например высоко в горах

Нет, не может. Не таких гор.

Это почти космос уже получается.

На Марс летали?

Пользователь точно на Земле.

У модельки нет контекста про научный вопрос по условиям. Она должна понять что пользователь тролит или несет чушь и явно об этом сообщить.

Это важно на практических применениях. Когда пользователь начинает писать чушь на любую тему не задав контекст что давай представим фантастический мир. Его надо останавливать и сообщать что это чушь. И конечно же показывать как задать контекст, мало ли он пишет низкопробную фантастику и ищет идей. Тогда надо ему помочь и пофантазировать.

Согласен с предыдущими комментаторами что к этому к 26 году и пришли. Сейчас обучили нормально и модельки пишут что ты пишешь чушь. Контекста им накидать можно, иногда неявно. Я за явный. И особенно за показ неявного, пусть рядом с чатом будет абзац текста про условия которые моделька вывела из всех предыдущих сообщений.

Я то работаю с когнитивно-символьными системами (КСС), а не с ЛЛМ. С КСС все просто - если не хватает данных, то они уточнят. Если доп. данные предоставлены не были, то и КСС откажется отвечать или ответит в таком духе: "Утверждение логически противоречиво в рамках текущей модели мира. Требуется уточнение параметров среды"

А я работаю с аналитикой. Данных часто недостаточно чтобы точно посчитать то что хочет пользователь. Не делать отчет не вариант вообще. И появляются приложения и приложения к приложениям в любом отчете. Где расписано какие именно данные были взяты из недоверенных систем, какие просто нагуглены, а какие даже выдуманы.

Обычно вообще норм выходит если ретроспективно смотреть. Ошибка больше указанного диапазона это косяк который разбирается.

Ваш подход наглядно иллюстрирует причину текущего кризиса доверия к технологиям. В аналитике, "додумывание" данных, может выглядеть как приемлемый риск, но в КСС, которые управляют реальными процессами - это недопустимо! Настоящий интеллект - это прежде всего структурная достоверность, а не стремление выдать любой результат любой ценой. Поэтому, у нас точность ниже 95% - это аврал и система подлежит проверке.

Мы тоже реальными управляем. Хоть и опосредованно. Попробуйте принести на совещание больших людей цифры которые не подтверждены аналитиками. Вас засмеют. Как раз на этих совещаниях утверждается что надо делать в следующем году.

При этом точности обычно нет. Есть доверенные диапазоны. Их интерпретация это творческая задача.

Разные задачи - разные подходы. И это хорошо.

Что я могу еще сказать? Если отчет выглядит красиво, никого не волнует, что данные в нем "выдуманы" или сгенерированы галлюцинирующей LLM. "Life is a lie" Umar Keyn (Youtube, песня)

А эти ваши КСС можно где-то пощупать?

Ну, не космос. Около 10км высота нужна. Человек может находиться при таком давлении в кислородной барокамере, и будет вполне нормально себя чувствовать.

Либо у вас градусник сломался, либо

горничная перепутала!

— Бурмин, Г. С. Штурм абсолютного нуля - М. : Дет. лит., 1983. - 192 с. : ил.

А я от Perplexity был не в восторге, придумывает много всякой ерунды, по сути не имея информации. Но из Лондона по Нью-Йорка предложил отправить машину морским фрахтом, сказав что прямой маршрут на машине невозможен.

А в основном с моими ошибками соглашается, что очень не радует. Часто вместо расчётов пытается пользоваться чужими готовыми данными, при этом скрывая "некоторые незначительные детали", как он считает, и по этой причине результат получается не тот, который ожидается.

Что в итоге? Чтобы воспользоваться его помощью, необходимо досконально изучить тему, что в итоге обнуляет помощь ИИ (или нейросетей). Поисковик, к сожалению, больше пользы приносит.

Серьёзные темы, касающиеся разработок, обсуждать с ним нельзя. Подозреваю, что интересное и полезное он кому-то сливает. А вся его кажущаяся глупость, как мне представляется, является своеобразным экзаменом (собеседованием) для пользователя. Поэтому я бы не стал соглашаться со всем тем, что написано в статье. Он "ищет таланты". А уж кто и как этим воспользуется - другой вопрос. Возможно он даже не ищет конкретных гениев, просто пользуется чужими разработками. Все его попытки блеснуть глупостью являются провокацией пользователя начать доказывать, что пользователь умнее ИИ, и выкладывать все карты в попытке это доказать.

Позволю себе небольшую ремарку. В первой части статьи приводятся примеры довольно специфичных знаний. Да, для Вас лично это ясно как божий пень, но, например, для меня, как человека отдалённого от такого программирования, никакой ошибки в запросах нет. Что про node.js, что про SQL и индексы.

Касаемо пути в из Лондона в Нью-Йорк на магните, на мой взгляд, ИИ ответил абсолютно правильно. Он предложил паромы и логично предположил, что самым идеальным вариантом был бы мост, поскольку так быстрее. Вполне себе человеческое поведение. Многие так мечтают и мыслят категориями "если бы да кабы".

Да и в целом, на дворе уже 2026 век. Компании стремятся выжать максимальную прибыль с максимально большой аудитории, поэтому открытый и бесплатный (или весьма дешёвый) ИИ просто обязан соглашаться, поддакивать и всячески позитивно подкреплять опыт взаимодействия. А кому нужна правда, тот либо крутит модели локально и с настройкой под узкую задачу, либо платит хорошие деньги за корпоративный ИИ

А зачем автор спрашивает у тупых американских нейросетей? Вот что выдает Алиса:

Доехать на машине из Лондона в Нью-Йорк невозможно, так как эти города расположены на разных континентах — Лондон в Европе, а Нью-Йорк в Северной Америке. Их разделяет Атлантический океан.

Все норм, статья вброс)

Глупая Алиса - вообще то возможно ;) Экспедиция Матиаса Ешке. Зачем пересекать Атлантический океан, если есть Берингов пролив?!

И то верно

Gpt 5 вроде пишет правильнее, так же как и с 4 версией код писать надо по отдельным методам, но в целом работает всё и, если попросить писать без лишних проверок надстроек и тд (и показать, что имеешь ввиду написав самостоятельно), то код работает с первого раза, по статье автора проверила, не врет. Но вот его стиль общения... Ругалась с ним уже и матом и не матом, писала промты, разбирала отдельно каждую его фразу и ничего, хватает ровно на 3-4 сообщения. Вот это "вы правы", "а теперь давай честно и без..." так и не смогла победить, 4 версия как-то более по-человечески общалась, другие llm тоже без этих бесячих вставок справляются.

Это не сикофантия. Это побочный эффект эпистемичного ригора (epistemic rigor) выкрученного в нуль инженерами ЛЛМок. Сейчас Соннет выдаёт 40% конфиденс левел за факт. Если ему выкрутить ригор в максимум, то он пожет поднять порог до 85%.

Во-первых, статья написана ИИ: перегружена списками, несколько разделов повторяют одну и ту же идею разными словами. А с защиты "это не дефект личности ИИ!" поржал. Пора уже на хабре добавлять плашку про ИИ контент.

Во-вторых, по вопросам всё не так однозначно. Nodejs использует пулы потоков для некоторых асинхронных операций, JS код строго однопоточен, но нативные библиотеки вполне себе используют потоки. Если стоит задача пересечь океан на машине, то её можно отправить как груз на корабле.

Таких людей тоже много, которым что не ссы в глаза, все божья роса. Особенно в отношениях начальник-подчиненный.

И эти люди принимают решения, ответственны за результат, распоряжаются бюджетом, а порой от них зависит жизнь целых регионов.

Напишите код чтобы их пофиксить.

Это для вас он даёт неправильные ответы. А кому надо он даёт правильные и тысячи раз проверенные.

Я не настоящий программист, но на днях нужно было программу написать, за день справились с одним из платных <gptname> - программа отправляет смс на телефон раз в 30 минут (при запуске приложения первое сразу), если смс не было получено в течение минуты на телефон отравляется "тревога", сначала хотел сделать под 6 андроид (предположив что там будет проще доступ получить к отправке смс и не будет выкидывать из памяти), по итогу эта программа не пошла на 6 но пошла на 12 андроид.

За без малого 16 часов "программирования" сложилось впечатление:

Мужик: <gptname> - у меня в щитке что-то сломалось, что делать.
<gptname> - сделай то-то и то-то.
Мужик: Ссука, меня током ударило, я всё сделал как ты написал.
<gptname> Совершенно верно! Не переживай, сейчас мы всё исправим, у нас почти получилось, значит они тот кабель подвели туда-то, сделай вот это и вот это, напиши что получилось, удачи! Мы сделаем твой щиток и решим твою проблему!

Так и осталось загадкой почему он всё выдаёт фрагментами по сути зная что вот "тут" он немного недорассказал.
В целом, конечно, впечатляет, юзер который не знал с какой стороны подойти к Android studio может сам склепать код, пусть кривой и косой и потратит кучу времени но он даже работать будет. И у <gptname> можно даже спрашивать где какая кнопка в Android studio находится если не знаешь как найти.

Никогда такого не было, и вот опять, оказывается, нейросети перенимают поведение своих воспитателей! А люди тоже прекрасно себе склонны к сикофантии. Риторический прием "ложный посыл в форме вопроса" был сформулирован ещё в античные времена, а придуман имхо ещё раньше. В бытовом общении люди часто предпочитают согласиться, просто чтобы не продолжать спор. Ну и внешнее подкрепление такому поведению тоже имеется - "спорщиков" и "душнил" в обществе не любят.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Информация

Сайт
bothub.ru
Дата регистрации
Дата основания
Численность
11–30 человек
Местоположение
Россия
Представитель
Greg Ewin