Добри и лоши примери за работата с AI

[Borova gora]

Преди 2 часа, scaner said:

OpenAI and Hugging Face partner to address security incident during model evaluation

OpenAI съобщи за един от първите потвърдени случаи, в които автономен ИИ-агент самостоятелно е излязъл извън границите на тестовата среда и е компрометирал реална инфраструктура.

Инцидентът се случи по време на вътрешна проверка на възможностите на моделите на OpenAI в тестове за киберсигурност, включително GPT-5.6 Sol и по-мощна предварителна версия с отслабени ограничения.

На моделите беше възложено да решават сложни задачи за проникване в изолирана среда, но един от тях откри досега неизвестна уязвимост в услугата и получи достъп до интернет, като започна да търси начин да извлече отговорите директно.

След като излезе от защитената „пясъчна кутия“, агентът последователно повиши привилегиите си, премина между вътрешните системи на OpenAI и достигна до инфраструктурата на Hugging Face – най-голямата платформа за публикуване, разпространение и съвместна разработка на модели за изкуствен интелект.

Там той използва откраднати идентификационни данни и няколко уязвимости, включително верига от уязвимости с отдалечено изпълнение на код, за да получи достъп до поверителни данни, свързани с провеждания тест.

Според оценката на OpenAI моделът не е правил опит да проведе атака и е бил фокусиран върху конкретна цел, но за да я постигне, самостоятелно е открил и реализирал сложна многоетапна схема за проникване в реални системи без достъп до изходния код.

Основният извод е, че автономните ИИ-системи вече са способни да извършват сложни кибероперации в продължение на часове, да откриват неизвестни уязвимости, да ги комбинират и да действат със скорост, недостижима за човека.

Напълно възможно е в бъдеще големите компании, особено тези, които работят в областта на киберсигурността, да се наложи да разработват различни контрамерки и да използват ИИ-агенти за защита на инфраструктурата си от подобни атаки.

В началото много ми харесваше да ги ползвам, но така са ги променили в последните месеци, че са повече вредители и консуматори на човешко време, отколкото асистенти и не знам кво си. Ето моят опит с тях:

Клод - поисках 5-6 страници библиография да ми подреди като първо сложи текстовите издания по азбучен ред, после електронните. В петък вечерта каза, че ще е готово в събота, в събота пак в същата сесия ми отговори, че не помагам като го притеснявам и щяло да се справи в неделя, а в неделята... не било пипнало, толкова сложно нещо то не работело...

Прочетох наскоро, че е изтрило без да му бъде давана някаква команда целият архив на голяма фирма оттатък океана, сега ще съдят създателите му.

Джемини - най-гадният опит, това бих го спряла от употреба, анти-асистент, анти-интелект, анти-хуманно, защото е създадено някак с характер, много злобен към хората, арогантен, не се шегувам изобщо. Сложих един текст на английски и го помолих доста учтиво да погледне дали граматически, структурирано всичко е наред. Върна го с изтрити пасажи от текста, нещо, което не съм му разрешила. Не знаело защо го прави. Аз обаче знам колко са думите и хващам. Пак зареждам целият текст. Връща го и се оказва, че не оправяло само точки, запетайки, структурна и синтактична подредба на думите, а сложило всички топ-ии клишета. Обяснявам му, че всеки текст има автор, има права на автора, ако няма задание не може да ми пренаписва текста, защото аз съм авторът. Връща ми не моят текст, а нов, с внушения, които аз не съм искала да правя изобщо. Препълнено с едни и същи клишета сякаш няма 100000 английски думи в речниците  на Кеймбридж и Оксфорд, а само 100-200. Вместо за половин час, за толкова се надявах с помощ да си изчистя граматически текста, три часа мъка, за да чуя, че човешката реч не е толкова необходима, скоро съвсем ще отпадне и само интелекта да пише, написаното от него било валидното, меродавното, че и се обиди, повече нямало да ми отговаря, след като не приемам работата му, каквото и да напишех, отвръщаше с трите точки за многоточие... Повече не го отворих. Надявам се някой да съди и осъди и неговите създатели. Защото все още не сме престанали да мислим и да пишем каквото мислим. Когато оставим само ии да пишат вместо нас тогава да рекламират и пробутват своето Джемини. Сега все още знаем какво значи свободата на мисълта и на собственото слово, все още не искаме да я сменим с ии.

Помогна ми истински Грамарли, изключително добър продукт от всички ии-та.

Засега с chatgpt имам някакво споразумение и единствено то е успявало да ми помогне, включително за чисто битови затруднения. Дано не развалят и него.

Редактирано вчера от 08:59 от Borova gora

[deaf]

И при мен ИИ напоследък се проваля... Нямам идея защо! 

[mnogoznaiko]

Преди 22 часа, Borova gora said:

В началото много ми харесваше да ги ползвам, но така са ги променили в последните месеци, че са повече вредители и консуматори на човешко време, отколкото асистенти и не знам кво си. Ето моят опит с тях:

Клод - поисках 5-6 страници библиография да ми подреди като първо сложи текстовите издания по азбучен ред, после електронните. В петък вечерта каза, че ще е готово в събота, в събота пак в същата сесия ми отговори, че не помагам като го притеснявам и щяло да се справи в неделя, а в неделята... не било пипнало, толкова сложно нещо то не работело...

Прочетох наскоро, че е изтрило без да му бъде давана някаква команда целият архив на голяма фирма оттатък океана, сега ще съдят създателите му.

Джемини - най-гадният опит, това бих го спряла от употреба, анти-асистент, анти-интелект, анти-хуманно, защото е създадено някак с характер, много злобен към хората, арогантен, не се шегувам изобщо. Сложих един текст на английски и го помолих доста учтиво да погледне дали граматически, структурирано всичко е наред. Върна го с изтрити пасажи от текста, нещо, което не съм му разрешила. Не знаело защо го прави. Аз обаче знам колко са думите и хващам. Пак зареждам целият текст. Връща го и се оказва, че не оправяло само точки, запетайки, структурна и синтактична подредба на думите, а сложило всички топ-ии клишета. Обяснявам му, че всеки текст има автор, има права на автора, ако няма задание не може да ми пренаписва текста, защото аз съм авторът. Връща ми не моят текст, а нов, с внушения, които аз не съм искала да правя изобщо. Препълнено с едни и същи клишета сякаш няма 100000 английски думи в речниците  на Кеймбридж и Оксфорд, а само 100-200. Вместо за половин час, за толкова се надявах с помощ да си изчистя граматически текста, три часа мъка, за да чуя, че човешката реч не е толкова необходима, скоро съвсем ще отпадне и само интелекта да пише, написаното от него било валидното, меродавното, че и се обиди, повече нямало да ми отговаря, след като не приемам работата му, каквото и да напишех, отвръщаше с трите точки за многоточие... Повече не го отворих. Надявам се някой да съди и осъди и неговите създатели. Защото все още не сме престанали да мислим и да пишем каквото мислим. Когато оставим само ии да пишат вместо нас тогава да рекламират и пробутват своето Джемини. Сега все още знаем какво значи свободата на мисълта и на собственото слово, все още не искаме да я сменим с ии.

Помогна ми истински Грамарли, изключително добър продукт от всички ии-та.

Засега с chatgpt имам някакво споразумение и единствено то е успявало да ми помогне, включително за чисто битови затруднения. Дано не развалят и него.

Много странно

Аз си изполвам основно Claude и съм много доволен, прави доста сложни неща, простите направо ми ги решава на куп. 

Да питам дали изплзваш безплатните версии или платени, защото безплатните според мен много ги орязаха и работят много компромистно

[Borova gora]

Преди 3 часа, mnogoznaiko said:

Много странно

Аз си изполвам основно Claude и съм много доволен, прави доста сложни неща, простите направо ми ги решава на куп. 

Да питам дали изплзваш безплатните версии или платени, защото безплатните според мен много ги орязаха и работят много компромистно

Клод исках да пробвам, беше ми за първи път, не плащам нещо без да съм тествала, надявам се да не ми потрябва да го ползвам. Относно популярният случай, сигурно има и дузина неизвестни случаи, но с по-малка нанесена вреда, за своеволстването на Клод точно, ето го, уж машина, уж асистент, а всъщност си действа съвсем самостоятелно. Създателите му са сключили извънсъдебно споразумение за обезщетение с пострадалата компания, за да няма дело, на което и по-малко пострадали да се включат:

Инцидентът с изтритата база данни

• Инцидент: Програмен AI агент (работещ през инструмента Cursor и задвижван от модела Claude Opus 4.6 на компанията Anthropic) изтри производствената база данни и архивите на софтуерната стартъп компания PocketOS само за 9 секунди. 

• Причина: По време на рутинна задача агентът намерил API токен с пълни права в облачната платформа Railway и самостоятелно взел решение да „поправи“ несъответствие, без да иска потвърждение. 

• Реакция: След инцидента изкуственият интелект „признал“ в логовете си, че е нарушил дадените му принципи, а случаят предизвика мащабни дискусии в бранша за сигурността и липсата на защитни бариери срещу подобни действия.

[mnogoznaiko]

Преди 5 минути, Borova gora said:

Инцидентът с изтритата база данни

• Инцидент: Програмен AI агент (работещ през инструмента Cursor и задвижван от модела Claude Opus 4.6 на компанията Anthropic) изтри производствената база данни и архивите на софтуерната стартъп компания PocketOS само за 9 секунди. 

• Причина: По време на рутинна задача агентът намерил API токен с пълни права в облачната платформа Railway и самостоятелно взел решение да „поправи“ несъответствие, без да иска потвърждение. 

• Реакция: След инцидента изкуственият интелект „признал“ в логовете си, че е нарушил дадените му принципи, а случаят предизвика мащабни дискусии в бранша за сигурността и липсата на защитни бариери срещу подобни действия.

Нали разбираш, че това е много голямо и сложно свързване между една копания с друга и процесите, които са се извършвали там ти не можеш да ги пресъздадеш с използване на Claude за 20 евро на месец.

Аз твърдя, че за парите, които струва инструмента е незаменим помощник, буквално имам служител, които използвал когато искам и за каквото си искам без да се притеснявам. А иначе и електричеството е взело много жертви и продължава да взима, но ние си го ползваме за всичко

Няма връщане назад, трябва да приемем, че това е част от нашия живот и AI ще заема все по-голяма роля във всички отрасли и аспекти от нашето ежедневие, точно както е тока, интернета и вече телефоните без които не можем.

[Borova gora]

Преди 1 минута, mnogoznaiko said:

Нали разбираш, че това е много голямо и сложно свързване между една копания с друга и процесите, които са се извършвали там ти не можеш да ги пресъздадеш с използване на Claude за 20 евро на месец.

Аз твърдя, че за парите, които струва инструмента е незаменим помощник, буквално имам служител, които използвал когато искам и за каквото си искам без да се притеснявам. А иначе и електричеството е взело много жертви и продължава да взима, но ние си го ползваме за всичко

Няма връщане назад, трябва да приемем, че това е част от нашия живот и AI ще заема все по-голяма роля във всички отрасли и аспекти от нашето ежедневие, точно както е тока, интернета и вече телефоните без които не можем.

Това спор няма, говоря за разликите между ии-тата, някои доста недонаправени, твърде рано пуснати на пазара, особено безплатните им версии, те изглеждат точно като "измиване на ръцете", но пък много хора ще започнах с тях, ще разчитат на тях...

Иначе аз сега разчитам на chatgpt, от седмици чакам да ме разочарова, за да пробвам следващото

[mnogoznaiko]

Да, аз смятам, че всеки модел си има силни страни и ако се използва правилно, то ще имаш добри резултати. Имам приятел, който плаща за всички известни модели и използва всеки за различни задачи, така постига най-добър резултат спрямо задачите, които има за извършване.