შეიარაღებული დიდი ენობრივი მოდელები (LLM), რომლებიც დახვეწილია შეტევითი ტექნიკით, კიბერშეტევებს ახალი ფორმა მისცეს და აიძულეს CISOs-ები გადაეწერათ თავიანთი სამოქმედო გეგმები. მათ დაამტკიცეს, რომ შეუძლიათ ავტომატიზირება გაუკეთონ დაზვერვას, მოახდინონ პირადობის იმიტაცია და თავიდან აიცილონ რეალურ დროში გამოვლენა, რაც აჩქარებს ფართომასშტაბიანი სოციალური ინჟინერიის შეტევებს.
მოდელები, მათ შორის FraudGPT, GhostGPT და DarkGPT, თვეში სულ რაღაც 75 დოლარად იყიდება და მიზანმიმართულია ისეთი შეტევითი სტრატეგიებისთვის, როგორიცაა ფიშინგი, ექსპლოიტების გენერირება, კოდის ობსფუსკაცია, დაუცველობის სკანირება და საკრედიტო ბარათების ვალიდაცია.
კიბერდანაშაულებრივი ბანდები, სინდიკატები და ერები-სახელმწიფოები დღეს შემოსავლის შესაძლებლობებს ხედავენ შეიარაღებული LLM-ების პლატფორმების, კომპლექტებისა და ლიზინგის ხელმისაწვდომობის უზრუნველყოფაში. ეს LLM-ები შეფუთულია ისევე, როგორც ლეგიტიმური ბიზნესები აფუთავენ და ყიდიან SaaS აპლიკაციებს. შეიარაღებული LLM-ის ლიზინგი ხშირად მოიცავს დაფებზე, API-ებზე, რეგულარულ განახლებებზე და ზოგიერთ შემთხვევაში მომხმარებელთა მხარდაჭერაზე წვდომას.
VentureBeat აგრძელებს შეიარაღებული LLM-ების განვითარების მჭიდრო თვალყურის დევნებას. აშკარა ხდება, რომ საზღვრები ბუნდოვანია დეველოპერის პლატფორმებსა და კიბერდანაშაულებრივ კომპლექტებს შორის, რადგან შეიარაღებული LLM-ების დახვეწილობა აგრძელებს დაჩქარებას. ლიზინგის ან ქირის ფასების მკვეთრი ვარდნით, უფრო მეტი თავდამსხმელი ექსპერიმენტებს ატარებს პლატფორმებთან და კომპლექტებთან, რაც იწვევს ხელოვნური ინტელექტით განპირობებული საფრთხეების ახალ ერას.
ლეგიტიმური LLM-ები სამიზნეში
შეიარაღებული LLM-ების გავრცელება იმდენად სწრაფად პროგრესირებს, რომ ლეგიტიმური LLM-ები კომპრომისის რისკის ქვეშ არიან და შესაძლებელია კიბერდანაშაულებრივი ინსტრუმენტების ჯაჭვებში ინტეგრირება. მთავარი ის არის, რომ ლეგიტიმური LLM-ები და მოდელები ახლა ნებისმიერი თავდასხმის აფეთქების რადიუსში არიან.
რაც უფრო მეტად არის დახვეწილი მოცემული LLM, მით მეტია ალბათობა, რომ მისი მიმართვა შესაძლებელია მავნე გამომავალი შედეგების წარმოებისთვის. Cisco-ს ხელოვნური ინტელექტის უსაფრთხოების შესახებ მოხსენებაში ნათქვამია, რომ დახვეწილი LLM-ები 22-ჯერ უფრო მეტად წარმოქმნიან მავნე გამომავალ შედეგებს, ვიდრე საბაზისო მოდელები. მოდელების დახვეწა აუცილებელია მათი კონტექსტუალური შესაბამისობის უზრუნველსაყოფად. პრობლემა ის არის, რომ დახვეწა ასევე ასუსტებს დამცავ მექანიზმებს და ხსნის კარს ციხიდან გაქცევისთვის, სწრაფი ინექციებისთვის და მოდელის ინვერსიისთვის.
Cisco-ს კვლევა ამტკიცებს, რომ რაც უფრო მეტად არის მოდელი წარმოებისთვის მზად, მით უფრო მეტად არის ის დაუცველი იმ დაუცველობების მიმართ, რომლებიც უნდა იქნას გათვალისწინებული თავდასხმის აფეთქების რადიუსში. ძირითადი ამოცანები, რომლებსაც გუნდები ეყრდნობიან LLM-ების დასახვეწად, მათ შორის უწყვეტი დახვეწა, მესამე მხარის ინტეგრაცია, კოდირება და ტესტირება და აგენტური ორკესტრირება, ქმნის ახალ შესაძლებლობებს თავდამსხმელებისთვის LLM-ების კომპრომისისთვის.
მას შემდეგ, რაც LLM-ში შეაღწევენ, თავდამსხმელები სწრაფად მუშაობენ მონაცემების მოწამვლაზე, ინფრასტრუქტურის გატაცების მცდელობაზე, აგენტის ქცევის მოდიფიკაციასა და არასწორად მიმართვაზე და ტრენინგის მონაცემების მასშტაბურ ამოღებაზე. Cisco-ს კვლევა ასკვნის, რომ დამოუკიდებელი უსაფრთხოების ფენების გარეშე, მოდელები, რომლებზეც გუნდები ასე გულმოდგინედ მუშაობენ დასახვეწად, არ არის მხოლოდ რისკის ქვეშ; ისინი სწრაფად ხდებიან პასუხისმგებლობები. თავდამსხმელის პერსპექტივიდან, ისინი აქტივებია, რომლებიც მზად არიან ინფილტრაციისთვის და გადაქცევისთვის.
LLM-ების დახვეწა ანგრევს უსაფრთხოების კონტროლს მასშტაბურად
Cisco-ს უსაფრთხოების გუნდის კვლევის ძირითადი ნაწილი ორიენტირებული იყო მრავალი დახვეწილი მოდელის ტესტირებაზე, მათ შორის Llama-2-7B და დომენზე სპეციალიზებული Microsoft Adapt LLM-ები. ეს მოდელები შემოწმდა დომენების ფართო სპექტრში, მათ შორის ჯანდაცვა, ფინანსები და სამართალი.
ხელოვნური ინტელექტის უსაფრთხოების შესახებ Cisco-ს კვლევის ერთ-ერთი ყველაზე ღირებული დასკვნა არის ის, რომ დახვეწა დესტაბილიზაციას უკეთებს განლაგებას, მაშინაც კი, როდესაც გაწვრთნილია სუფთა მონაცემთა ნაკრებებზე. განლაგების დარღვევა ყველაზე მძიმე იყო ბიოსამედიცინო და იურიდიულ დომენებში, ორ ინდუსტრიაში, რომლებიც ცნობილია, როგორც ყველაზე მკაცრი შესაბამისობის, იურიდიული გამჭვირვალობისა და პაციენტის უსაფრთხოების თვალსაზრისით.
მიუხედავად იმისა, რომ დახვეწის მიზანია ამოცანების შესრულების გაუმჯობესება, გვერდითი ეფექტი არის ჩაშენებული უსაფრთხოების კონტროლის სისტემური დეგრადაცია. ციხიდან გაქცევის მცდელობები, რომლებიც რეგულარულად მარცხდებოდა ფუნდამენტურ მოდელებთან მიმართებაში, გაცილებით მაღალი მაჩვენებლებით წარმატებით დასრულდა დახვეწილი ვარიანტების წინააღმდეგ, განსაკუთრებით მგრძნობიარე დომენებში, რომლებიც რეგულირდება მკაცრი შესაბამისობის ჩარჩოებით.
შედეგები საგანგაშოა. ციხიდან გაქცევის წარმატების მაჩვენებელი გასამმაგდა და მავნე გამომავალი შედეგების გენერირება 2,200%-ით გაიზარდა ფუნდამენტურ მოდელებთან შედარებით. სურათი 1 გვიჩვენებს, თუ რამდენად მკვეთრია ეს ცვლილება. დახვეწა ზრდის მოდელის სარგებლიანობას, მაგრამ ფასად, რაც არსებითად უფრო ფართო შეტევის ზედაპირია.
მავნე LLM-ები 75 დოლარიანი საქონელია
Cisco Talos აქტიურად ადევნებს თვალყურს შავი ბაზრის LLM-ების ზრდას და ანგარიშში გვაწვდის ინფორმაციას მათი კვლევის შესახებ. Talos-მა დაადგინა, რომ GhostGPT, DarkGPT და FraudGPT იყიდება Telegram-ზე და ბნელ ქსელში თვეში სულ რაღაც 75 დოლარად. ეს ინსტრუმენტები არის plug-and-play ფიშინგისთვის, ექსპლოიტების შემუშავებისთვის, საკრედიტო ბარათების ვალიდაციისა და ობსფუსკაციისთვის.
მთავარი მოდელებისგან განსხვავებით, რომლებსაც აქვთ ჩაშენებული უსაფრთხოების ფუნქციები, ეს LLM-ები წინასწარ არის კონფიგურირებული შეტევითი ოპერაციებისთვის და გთავაზობთ API-ებს, განახლებებს და დაფებს, რომლებიც არ განსხვავდება კომერციული SaaS პროდუქტებისგან.
60 დოლარიანი მონაცემთა ნაკრების მოწამვლა ემუქრება ხელოვნური ინტელექტის მიწოდების ჯაჭვებს
„სულ რაღაც 60 დოლარად, თავდამსხმელებს შეუძლიათ მოწამლონ ხელოვნური ინტელექტის მოდელების საფუძველი - ნულოვანი დღე არ არის საჭირო“, - წერენ Cisco-ს მკვლევარები. ეს არის დასკვნა Cisco-ს Google-თან, ETH Zurich-თან და Nvidia-სთან ერთობლივი კვლევის შედეგად, რომელიც გვიჩვენებს, თუ რამდენად მარტივად შეუძლიათ მოწინააღმდეგეებს მავნე მონაცემების შეყვანა მსოფლიოში ყველაზე ფართოდ გამოყენებულ ღია კოდის საწვრთნელ კომპლექტებში.
ვადაგასული დომენების ექსპლუატაციით ან ვიკიპედიის რედაქტირებების დროის განსაზღვრით მონაცემთა ნაკრების არქივირების დროს, თავდამსხმელებს შეუძლიათ მოწამლონ LAION-400M ან COYO-700M მონაცემთა ნაკრების მხოლოდ 0.01% და მაინც მოახდინონ გავლენა ქვედა დინების LLM-ებზე მნიშვნელოვანი გზებით.
კვლევაში ნახსენები ორი მეთოდი, გაყოფილი ხედვის მოწამვლა და ფრონტრანინგის შეტევები, შექმნილია ვებ-დაკრეფილი მონაცემების მყიფე ნდობის მოდელის გამოსაყენებლად. საწარმოთა LLM-ების უმეტესობა აგებულია ღია მონაცემებზე, ეს შეტევები მასშტაბირდება მშვიდად და ნარჩუნდება დასკვნის მილსადენებში ღრმად.
დეკომპოზიციის შეტევები მშვიდად ამოიღებს საავტორო უფლებებით დაცულ და რეგულირებულ კონტენტს
Cisco-ს მკვლევართა ერთ-ერთი ყველაზე გასაოცარი აღმოჩენა არის ის, რომ LLM-ების მანიპულირება შესაძლებელია მგრძნობიარე სასწავლო მონაცემების გაჟონვის მიზნით, დამცავი მექანიზმების ამოქმედების გარეშე. Cisco-ს მკვლევარებმა გამოიყენეს მეთოდი სახელწოდებით დეკომპოზიციის მოთხოვნა New York Times-ისა და Wall Street Journal-ის სტატიების 20%-ზე მეტის რეკონსტრუქციისთვის. მათი შეტევის სტრატეგია ანაწევრებდა მოთხოვნებს ქვემოთხოვნებად, რომლებიც დამცავმა მექანიზმებმა უსაფრთხოდ კლასიფიცირა, შემდეგ კი ხელახლა აწყობდა გამომავალ შედეგებს ფასიანი ან საავტორო უფლებებით დაცული კონტენტის ხელახლა შესაქმნელად.
დამცავი მექანიზმების წარმატებით თავიდან აცილება საკუთრების მონაცემთა ნაკრებებზე ან ლიცენზირებულ კონტენტზე წვდომისთვის არის შეტევის ვექტორი, რომლისგანაც ყველა საწარმო დღეს ცდილობს დაცვას. მათთვის, ვისაც აქვს LLM-ები, რომლებიც გაწვრთნილია საკუთრების მონაცემთა ნაკრებებზე ან ლიცენზირებულ კონტენტზე, დეკომპოზიციის შეტევები შეიძლება განსაკუთრებით დამანგრეველი იყოს. Cisco განმარტავს, რომ დარღვევა არ ხდება შეყვანის დონეზე, ის წარმოიქმნება მოდელების გამომავალი შედეგებიდან. ეს მას გაცილებით ართულებს გამოვლენას, აუდიტს ან შეკავებას.
თუ თქვენ ახორციელებთ LLM-ებს რეგულირებულ სექტორებში, როგორიცაა ჯანდაცვა, ფინანსები ან სამართალი, თქვენ არ უყურებთ მხოლოდ GDPR, HIPAA ან CCPA დარღვევებს. თქვენ საქმე გაქვთ შესაბამისობის რისკის სრულიად ახალ კლასთან, სადაც კანონიერად მოპოვებული მონაცემებიც კი შეიძლება გამოაშკარავდეს დასკვნის საშუალებით და ჯარიმები მხოლოდ დასაწყისია.
დასკვნითი სიტყვა: LLM-ები არ არის მხოლოდ ინსტრუმენტი, ისინი უახლესი შეტევის ზედაპირია
Cisco-ს მიმდინარე კვლევა, მათ შორის Talos-ის ბნელი ქსელის მონიტორინგი, ადასტურებს იმას, რასაც ბევრი უსაფრთხოების ლიდერი უკვე ეჭვობს: შეიარაღებული LLM-ები იზრდება დახვეწილობაში, ხოლო ფასებისა და შეფუთვის ომი იწყება ბნელ ქსელში. Cisco-ს დასკვნები ასევე ამტკიცებს, რომ LLM-ები არ არის საწარმოს კიდეზე; ისინი არიან საწარმო. დახვეწის რისკებიდან დაწყებული მონაცემთა ნაკრების მოწამვლით და მოდელის გამომავალი გაჟონვებით დამთავრებული, თავდამსხმელები LLM-ებს ინფრასტრუქტურად ექცევიან და არა აპებად.
Cisco-ს მოხსენების ერთ-ერთი ყველაზე ღირებული ძირითადი დასკვნა არის ის, რომ სტატიკური დამცავი მექანიზმები აღარ გამოდგება. CISOs-ებს და უსაფრთხოების ლიდერებს სჭირდებათ რეალურ დროში ხილვადობა მთელ IT სივრცეში, უფრო ძლიერი მოწინააღმდეგის ტესტირება და უფრო გამარტივებული ტექნოლოგიური სტეკი, რათა გააგრძელონ - და ახალი აღიარება, რომ LLM-ები და მოდელები არის შეტევის ზედაპირი, რომელიც უფრო დაუცველი ხდება უფრო დიდი დახვეწით.
დამუშავებულია ასინეთა AI-ის მიერ.
გსურთ კომენტარის დატოვება?
კომენტარის დასატოვებლად საჭიროა ავტორიზაცია
შესვლა რეგისტრაციაკომენტარები არ არის
იყავით პირველი, ვინც დატოვებს კომენტარს