ხელოვნური ინტელექტის (AI) აგენტებს უსაფრთხოებისა და სანდოობის პრობლემები აქვთ. მიუხედავად იმისა, რომ აგენტები საწარმოებს საშუალებას მისცემენ ავტომატიზირება მოახდინონ თავიანთი სამუშაო პროცესების უფრო მეტი ეტაპისა, მათ შეუძლიათ მიიღონ არასასურველი ქმედებები დავალების შესრულებისას, არ არიან ძალიან მოქნილები და მათი კონტროლი რთულია.
ორგანიზაციებმა უკვე გამოთქვეს შეშფოთება არასანდო აგენტებთან დაკავშირებით და ღელავენ, რომ განლაგების შემდეგ აგენტებმა შეიძლება დაივიწყონ ინსტრუქციების შესრულება.
OpenAI-მაც კი აღიარა, რომ აგენტის სანდოობის უზრუნველყოფა გარე დეველოპერებთან მუშაობას მოიცავს, ამიტომ მან გახსნა Agents SDK ამ საკითხის გადასაჭრელად.
თუმცა, სინგაპურის მენეჯმენტის უნივერსიტეტის (SMU) მკვლევარებმა შეიმუშავეს ახალი მიდგომა აგენტების სანდოობის პრობლემის გადასაჭრელად.
AgentSpec არის დომენზე სპეციფიკური ჩარჩო, რომელიც მომხმარებლებს საშუალებას აძლევს „განსაზღვრონ სტრუქტურირებული წესები, რომლებიც მოიცავს ტრიგერებს, პრედიკატებს და აღსრულების მექანიზმებს“. მკვლევარებმა განაცხადეს, რომ AgentSpec აიძულებს აგენტებს იმუშაონ მხოლოდ იმ პარამეტრებში, რაც მომხმარებლებს სურთ.
LLM-ზე დაფუძნებული აგენტების წარმართვა ახალი მიდგომით
AgentSpec არ არის ახალი დიდი ენობრივი მოდელი (LLM), არამედ მიდგომაა LLM-ზე დაფუძნებული AI აგენტების წარმართვისთვის. მკვლევარებს მიაჩნიათ, რომ AgentSpec შეიძლება გამოყენებულ იქნას აგენტებისთვის საწარმოო გარემოში და თვითმართვადი აპლიკაციებისთვის.
AgentSpec-ის პირველმა ტესტებმა ინტეგრირება მოახდინა LangChain ჩარჩოებზე, მაგრამ მკვლევარებმა განაცხადეს, რომ ის შექმნეს როგორც ჩარჩო-აგნოსტიკური, რაც იმას ნიშნავს, რომ მას ასევე შეუძლია მუშაობა AutoGen-ისა და Apollo-ს ეკოსისტემებზე.
AgentSpec-ის გამოყენებით ჩატარებულმა ექსპერიმენტებმა აჩვენა, რომ მან აღკვეთა „არასანდო კოდის შესრულების 90%-ზე მეტი, უზრუნველყოფს სრულ შესაბამისობას ავტონომიური მართვის კანონდარღვევის სცენარებში, გამორიცხავს სახიფათო ქმედებებს ჩაშენებულ აგენტურ ამოცანებში და მუშაობს მილიწამების დონის ზედნადებით.“ LLM-გენერირებულ AgentSpec წესებს, რომლებმაც გამოიყენეს OpenAI-ის o1, ასევე ჰქონდა ძლიერი შესრულება და აღკვეთა სარისკო კოდის 87% და თავიდან აიცილა „კანონის დარღვევა 8 სცენარიდან 5-ში“.
მიმდინარე მეთოდები ცოტათი არასაკმარისია
AgentSpec არ არის ერთადერთი მეთოდი დეველოპერებისთვის, რათა აგენტებს მეტი კონტროლი და სანდოობა მისცენ. სხვა მიდგომები მოიცავს ToolEmu-სა და GuardAgent-ს. სტარტაპმა Galileo-მ გამოუშვა Agentic Evaluations, გზა იმის უზრუნველსაყოფად, რომ აგენტები მუშაობენ ისე, როგორც დაგეგმილია.
ღია კოდის პლატფორმა H2O.ai იყენებს პროგნოზირებად მოდელებს, რათა გააუმჯობესოს ფინანსებში, ჯანდაცვაში, ტელეკომუნიკაციებსა და მთავრობაში კომპანიების მიერ გამოყენებული აგენტების სიზუსტე.
AgentSpec-ის მკვლევარებმა განაცხადეს, რომ რისკების შესამცირებლად მიმდინარე მიდგომები, როგორიცაა ToolEmu, ეფექტურად გამოავლენს რისკებს. მათ აღნიშნეს, რომ „ამ მეთოდებს აკლია ინტერპრეტაცია და არ გვთავაზობს უსაფრთხოების აღსრულების მექანიზმს, რაც მათ დაუცველს ხდის მოწინააღმდეგის მანიპულირების მიმართ“.
AgentSpec-ის გამოყენება
AgentSpec მუშაობს როგორც runtime აღსრულების ფენა აგენტებისთვის. ის აფერხებს აგენტის ქცევას დავალებების შესრულებისას და ამატებს უსაფრთხოების წესებს, რომლებიც ადამიანების მიერ არის დადგენილი ან მოთხოვნებით გენერირებული.
ვინაიდან AgentSpec არის მორგებული დომენზე სპეციფიკური ენა, მომხმარებლებმა უნდა განსაზღვრონ უსაფრთხოების წესები. ამაში სამი კომპონენტია: პირველი არის ტრიგერი, რომელიც განსაზღვრავს, როდის უნდა გააქტიურდეს წესი; მეორე არის პირობების დამატების შემოწმება; და მესამე არის აღსრულება, რომელიც აღასრულებს ქმედებებს წესის დარღვევის შემთხვევაში.
AgentSpec აგებულია LangChain-ზე, თუმცა, როგორც ადრე იყო ნათქვამი, მკვლევარებმა განაცხადეს, რომ AgentSpec ასევე შეიძლება ინტეგრირებული იყოს სხვა ჩარჩოებში, როგორიცაა AutoGen ან ავტონომიური სატრანსპორტო საშუალებების პროგრამული უზრუნველყოფის სტეკი Apollo.
ეს ჩარჩოები აორგანიზებენ ნაბიჯებს, რომლებიც აგენტებს უნდა გადადგან მომხმარებლის შეყვანის მიღებით, შესრულების გეგმის შექმნით, შედეგის დაკვირვებით და შემდეგ გადაწყვეტილების მიღებით, დასრულდა თუ არა ქმედება და, თუ არა, შემდეგი ნაბიჯის დაგეგმვით. AgentSpec ამ ნაკადში წესების აღსრულებას ამატებს.
„სანამ მოქმედება შესრულდება, AgentSpec აფასებს წინასწარ განსაზღვრულ შეზღუდვებს შესაბამისობის უზრუნველსაყოფად და საჭიროების შემთხვევაში ცვლის აგენტის ქცევას. კონკრეტულად, AgentSpec უკავშირდება სამ ძირითად გადაწყვეტილების მიღების წერტილს: სანამ მოქმედება შესრულდება (AgentAction), მოქმედების შედეგად დაკვირვების შემდეგ (AgentStep) და როდესაც აგენტი ასრულებს თავის დავალებას (AgentFinish). ეს წერტილები უზრუნველყოფს სტრუქტურირებულ გზას ჩარევისთვის აგენტის ძირითადი ლოგიკის შეცვლის გარეშე“, - ნათქვამია ნაშრომში.
უფრო სანდო აგენტები
მიდგომები, როგორიცაა AgentSpec, ხაზს უსვამს საწარმოო გამოყენებისთვის სანდო აგენტების საჭიროებას. რადგან ორგანიზაციები იწყებენ თავიანთი აგენტური სტრატეგიის დაგეგმვას, ტექნოლოგიური გადაწყვეტილების მიმღები ლიდერები ასევე ეძებენ გზებს სანდოობის უზრუნველსაყოფად.
ბევრისთვის აგენტები საბოლოოდ ავტონომიურად და პროაქტიულად შეასრულებენ დავალებებს მომხმარებლებისთვის. ამბიენტური აგენტების იდეა, სადაც AI აგენტები და აპლიკაციები მუდმივად მუშაობენ ფონზე და თავად იწყებენ მოქმედებების შესრულებას, მოითხოვს აგენტებს, რომლებიც არ გადაუხვევენ თავიანთ გზას და შემთხვევით არ შემოიტანენ არასანდო ქმედებებს.
თუ ამბიენტური აგენტები არის ის მიმართულება, საითაც აგენტური AI მომავალში წავა, მოსალოდნელია, რომ AgentSpec-ის მსგავსი მეთოდები უფრო მეტად გავრცელდება, რადგან კომპანიები ცდილობენ AI აგენტები მუდმივად სანდო გახადონ.
დამუშავებულია ასინეთა AI-ის მიერ.
გსურთ კომენტარის დატოვება?
კომენტარის დასატოვებლად საჭიროა ავტორიზაცია
შესვლა რეგისტრაციაკომენტარები არ არის
იყავით პირველი, ვინც დატოვებს კომენტარს