ინსტრუმენტების ინტეგრაციის პრობლემა, რომელიც აფერხებს საწარმოთა ხელოვნურ ინტელექტს (და როგორ წყვეტს მას CoTools)

ჩინეთის სუჭოუს უნივერსიტეტის მკვლევარებმა წარმოადგინეს Chain-of-Tools (CoTools), ახალი ფრეიმვორკი, რომელიც შექმნილია იმისთვის, რომ გააუმჯობესოს, თუ როგორ იყენებენ მსხვილი ენობრივი მოდელები (LLM) გარე ინსტრუმენტებს. CoTools მიზნად ისახავს უზრუნველყოს უფრო ეფექტური და მოქნილი მიდგომა არსებულ მეთოდებთან შედარებით. ეს საშუალებას მისცემს LLM-ებს გამოიყენონ ხელსაწყოების უზარმაზარი ნაკრები პირდაპირ მათი მსჯელობის პროცესში, მათ შორის ისეთებიც, რომლებზეც ისინი კონკრეტულად არ გაუწვრთნიათ.

საწარმოებისთვის, რომლებიც ცდილობენ დახვეწილი AI აგენტების შექმნას, ამ შესაძლებლობამ შეიძლება გახსნას უფრო ძლიერი და ადაპტირებადი აპლიკაციები მიმდინარე ინსტრუმენტების ინტეგრაციის ტექნიკის ტიპური ნაკლოვანებების გარეშე.

LLM-ების ინსტრუმენტებით აღჭურვის გამოწვევა

მიუხედავად იმისა, რომ თანამედროვე LLM-ები გამოირჩევიან ტექსტის გენერირებით, გაგებით და თუნდაც კომპლექსური მსჯელობით, მათ სჭირდებათ გარე რესურსებთან და ხელსაწყოებთან ურთიერთქმედება, როგორიცაა მონაცემთა ბაზები ან აპლიკაციები მრავალი ამოცანისთვის. LLM-ების გარე ინსტრუმენტებით აღჭურვა—არსებითად API-ები ან ფუნქციები, რომელთა გამოძახებაც მათ შეუძლიათ—გადამწყვეტია მათი შესაძლებლობების პრაქტიკულ, რეალურ სამყაროში გამოყენებამდე გასაფართოებლად.

თუმცა, ინსტრუმენტების გამოყენების შესაძლებლობის მიმდინარე მეთოდები მნიშვნელოვანი კომპრომისების წინაშე დგას. ერთ-ერთი გავრცელებული მიდგომა მოიცავს LLM-ის დახვეწას ინსტრუმენტების გამოყენების მაგალითებზე. მიუხედავად იმისა, რომ ამან შეიძლება მოდელი გააწვრთნას ტრენინგის დროს ნანახი კონკრეტული ხელსაწყოების გამოძახებაში, ის ხშირად ზღუდავს მოდელს მხოლოდ ამ ხელსაწყოებით. გარდა ამისა, თავად დახვეწის პროცესმა ზოგჯერ შეიძლება უარყოფითად იმოქმედოს LLM-ის ზოგად მსჯელობის უნარებზე, როგორიცაა Chain-of-Thought (CoT), რაც პოტენციურად ამცირებს ფუნდამენტური მოდელის ძირითად ძლიერ მხარეებს.

ალტერნატიული მიდგომა ეფუძნება კონტექსტზე დაფუძნებულ სწავლებას (ICL), სადაც LLM-ს მიეწოდება ხელმისაწვდომი ინსტრუმენტების აღწერილობები და მათი გამოყენების მაგალითები პირდაპირ მოთხოვნაში. ეს მეთოდი გვთავაზობს მოქნილობას, რაც მოდელს საშუალებას აძლევს პოტენციურად გამოიყენოს ის ინსტრუმენტებიც, რომლებიც მას აქამდე არ უნახავს. თუმცა, ამ კომპლექსური მოთხოვნების აგება შეიძლება იყოს მოუხერხებელი და მოდელის ეფექტურობა მნიშვნელოვნად მცირდება ხელმისაწვდომი ხელსაწყოების რაოდენობის ზრდასთან ერთად, რაც მას ნაკლებად პრაქტიკულს ხდის სცენარებისთვის დიდი, დინამიური ხელსაწყოების ნაკრებით.

როგორც მკვლევარები აღნიშნავენ Chain-of-Tools-ის წარდგენის დოკუმენტში, LLM აგენტი „უნდა იყოს უნარიანი ეფექტურად მართოს დიდი რაოდენობის ხელსაწყოები და სრულად გამოიყენოს უხილავი ხელსაწყოები CoT მსჯელობის დროს, რადგან ბევრი ახალი ინსტრუმენტი შეიძლება გამოჩნდეს ყოველდღიურად რეალურ სამყაროში გამოყენების სცენარებში.“

Chain-of-Tools-ის (CoTools) წარდგენა

CoTools გთავაზობთ არსებული მეთოდების დამაჯერებელ ალტერნატივას, ოსტატურად აერთიანებს დახვეწისა და სემანტიკური გაგების ასპექტებს, თანაც გადამწყვეტად ინარჩუნებს ძირითად LLM-ს „გაყინულს“—რაც იმას ნიშნავს, რომ მისი ორიგინალური წონები და ძლიერი მსჯელობის შესაძლებლობები ხელუხლებელი რჩება. მთელი მოდელის დახვეწის ნაცვლად, CoTools ავარჯიშებს მსუბუქ, სპეციალიზებულ მოდულებს, რომლებიც მუშაობენ LLM-თან ერთად მისი გენერირების პროცესში.

„CoTools-ის ძირითადი იდეა არის გაყინული ფუნდამენტური მოდელების სემანტიკური წარმოდგენის შესაძლებლობების გამოყენება იმის დასადგენად, თუ სად გამოვიძახოთ ხელსაწყოები და რომელი ხელსაწყოები გამოვიძახოთ“, - წერენ მკვლევარები.

არსებითად, CoTools იყენებს მდიდარ გაგებას, რომელიც ჩაშენებულია LLM-ის შიდა წარმოდგენებში, რომლებსაც ხშირად უწოდებენ „ფარულ მდგომარეობებს“, რომლებიც გამოითვლება, როდესაც მოდელი ამუშავებს ტექსტს და წარმოქმნის საპასუხო ტოკენებს.

CoTools ფრეიმვორკი შედგება სამი ძირითადი კომპონენტისგან, რომლებიც მუშაობენ თანმიმდევრულად LLM-ის მსჯელობის პროცესში:

ინსტრუმენტების შემფასებელი: როდესაც LLM წარმოქმნის თავის პასუხს ტოკენი ტოკენის მიყოლებით, ინსტრუმენტების შემფასებელი აანალიზებს ფარულ მდგომარეობას, რომელიც დაკავშირებულია პოტენციურ შემდეგ ტოკენთან და წყვეტს, არის თუ არა ხელსაწყოს გამოძახება მიზანშეწონილი მსჯელობის ჯაჭვის ამ კონკრეტულ მომენტში.

ინსტრუმენტების ამომრჩევი: თუ შემფასებელი გადაწყვეტს, რომ ხელსაწყოა საჭირო, ამომრჩევი ირჩევს ყველაზე შესაფერის ხელსაწყოს ამოცანისთვის. ინსტრუმენტების ამომრჩეველი გაწვრთნილია შექმნას მოთხოვნის ემბედინგი და შეადაროს ის ხელმისაწვდომ ინსტრუმენტებს. ეს საშუალებას აძლევს მას ეფექტურად შეარჩიოს ყველაზე სემანტიკურად შესაბამისი ხელსაწყო ხელმისაწვდომი ხელსაწყოების ნაკრებიდან, მათ შორის „უხილავი“ ხელსაწყოებიც (ანუ, რომლებიც არ არის CoTools მოდულების სასწავლო მონაცემების ნაწილი).

ხელსაწყოს გამოძახება: მას შემდეგ, რაც საუკეთესო ხელსაწყო შეირჩევა, CoTools იყენებს ICL მოთხოვნას, რომელიც აჩვენებს ხელსაწყოს პარამეტრების შევსებას კონტექსტის საფუძველზე. ICL-ის ეს მიზანმიმართული გამოყენება თავიდან აიცილებს ათასობით დემონსტრაციის დამატების არაეფექტურობას საწყისი ხელსაწყოს შერჩევისთვის მოთხოვნაში. მას შემდეგ, რაც შერჩეული ხელსაწყო შესრულდება, მისი შედეგი უკან ჩაისმება LLM-ის პასუხის გენერირებაში.

გადაწყვეტილების მიღების (შემფასებელი) და შერჩევის (ამომრჩევი) სემანტიკურ გაგებაზე დაფუძნებული პარამეტრების შევსებისგან (გამოძახება ფოკუსირებული ICL-ის საშუალებით) გამოყოფით, CoTools აღწევს ეფექტურობას მასიური ხელსაწყოების ნაკრებებითაც კი, ხოლო ინარჩუნებს LLM-ის ძირითად შესაძლებლობებს და იძლევა ახალი ხელსაწყოების მოქნილი გამოყენების საშუალებას. თუმცა, რადგან CoTools მოითხოვს მოდელის ფარულ მდგომარეობებზე წვდომას, ის შეიძლება გამოყენებულ იქნას მხოლოდ ღია წონის მოდელებზე, როგორიცაა Llama და Mistral, და არა კერძო მოდელებზე, როგორიცაა GPT-4o და Claude.

CoTools მოქმედებაში: შესრულება და მოქნილობა

მკვლევარებმა შეაფასეს CoTools ორ განსხვავებულ აპლიკაციურ სცენარში: რიცხვითი მსჯელობა არითმეტიკული ხელსაწყოების გამოყენებით და ცოდნაზე დაფუძნებული კითხვებზე პასუხის გაცემა (KBQA), რაც მოითხოვს ცოდნის ბაზებიდან მოძიებას.

არითმეტიკულ ბენჩმარკებზე, როგორიცაა GSM8K-XL (ძირითადი ოპერაციების გამოყენებით) და FuncQA (უფრო რთული ფუნქციების გამოყენებით), CoTools-მა, რომელიც გამოიყენებოდა LLaMA2-7B-ზე, მიაღწია ChatGPT-სთან შედარებით შესრულებას GSM8K-XL-ზე და ოდნავ აჯობა ან გაუტოლდა სხვა ინსტრუმენტების სწავლების მეთოდს, ToolkenGPT-ს, FuncQA ვარიანტებზე. შედეგებმა ხაზი გაუსვა, რომ CoTools ეფექტურად აძლიერებს ფუნდამენტური მოდელის შესაძლებლობებს.

KBQA ამოცანებისთვის, რომლებიც შემოწმდა KAMEL მონაცემთა ბაზაზე და ახლად აგებულ SimpleToolQuestions (STQuestions) მონაცემთა ბაზაზე, რომელშიც წარმოდგენილი იყო ხელსაწყოების ძალიან დიდი ნაკრები (1836 ხელსაწყო, მათ შორის 837 უხილავი სატესტო ნაკრებში), CoTools-მა აჩვენა ხელსაწყოების შერჩევის უმაღლესი სიზუსტე. ის განსაკუთრებით გამოირჩეოდა სცენარებში ხელსაწყოების მასიური რაოდენობით და უხილავ ხელსაწყოებთან გამკლავებისას, აღწერილობითი ინფორმაციის გამოყენებით ეფექტური მოძიებისთვის, სადაც მეთოდები, რომლებიც მხოლოდ გაწვრთნილ ხელსაწყოების წარმოდგენებს ეყრდნობოდნენ, ვერ ახერხებდნენ. ექსპერიმენტებმა ასევე აჩვენა, რომ CoTools-მა შეინარჩუნა ძლიერი შესრულება დაბალი ხარისხის სასწავლო მონაცემების მიუხედავად.

მნიშვნელობა საწარმოსთვის

Chain-of-Tools წარმოადგენს პერსპექტიულ მიმართულებას საწარმოში უფრო პრაქტიკული და ძლიერი LLM-ზე მომუშავე აგენტების შესაქმნელად. ეს განსაკუთრებით სასარგებლოა, რადგან ახალი სტანდარტები, როგორიცაა მოდელის კონტექსტის პროტოკოლი (MCP), დეველოპერებს საშუალებას აძლევს მარტივად მოახდინონ გარე ხელსაწყოებისა და რესურსების ინტეგრირება თავიანთ აპლიკაციებში. საწარმოებს პოტენციურად შეუძლიათ განათავსონ აგენტები, რომლებიც ეგუებიან ახალ შიდა ან გარე API-ებსა და ფუნქციებს მინიმალური გადამზადების ზედნადებით.

ფრეიმვორკის დამოკიდებულება სემანტიკურ გაგებაზე ფარული მდგომარეობების საშუალებით იძლევა ხელსაწყოების ნიუანსირებული და ზუსტი შერჩევის საშუალებას, რამაც შეიძლება გამოიწვიოს უფრო საიმედო AI ასისტენტები ამოცანებში, რომლებიც საჭიროებენ მრავალფეროვან საინფორმაციო წყაროებთან და სისტემებთან ურთიერთქმედებას.

„CoTools იკვლევს LLM-ების მასიური ახალი ხელსაწყოებით მარტივი გზით აღჭურვის გზას“, - განუცხადა VentureBeat-ს მენგსონგ ვუმ, CoTools-ის დოკუმენტის წამყვანმა ავტორმა და სუჭოუს უნივერსიტეტის მანქანური სწავლების მკვლევარმა. „ის შეიძლება გამოყენებულ იქნას MCP-ით პერსონალური AI აგენტის შესაქმნელად და სამეცნიერო ხელსაწყოებით კომპლექსური მსჯელობისთვის.“

თუმცა, ვუმ ასევე აღნიშნა, რომ მათ ჯერჯერობით მხოლოდ წინასწარი საძიებო სამუშაოები ჩაატარეს. „რეალურ სამყაროში გარემოში მის გამოსაყენებლად, თქვენ მაინც უნდა იპოვოთ ბალანსი დახვეწის ღირებულებასა და გენერალიზებული ხელსაწყოს გამოძახების ეფექტურობას შორის“, - თქვა ვუმ.

მკვლევარებმა გამოაქვეყნეს შემფასებლისა და ამომრჩევის მოდულების მომზადების კოდი GitHub-ზე.

„ჩვენ გვჯერა, რომ ჩვენი იდეალური Tool Learning აგენტის ფრეიმვორკი, რომელიც დაფუძნებულია გაყინულ LLM-ებზე მისი პრაქტიკული რეალიზაციის მეთოდით CoTools, შეიძლება სასარგებლო იყოს რეალურ სამყაროში გამოყენებისთვის და კიდევ წაახალისოს Tool Learning-ის შემდგომი განვითარება“, - წერენ მკვლევარები.

ასინეთა AI მიერ არის დამუსავებული.