ახალი ჩარჩო, სახელწოდებით METASCALE, მსხვილ ენობრივ მოდელებს (LLM) საშუალებას აძლევს, დასკვნის დროს დინამიურად მოახდინონ მსჯელობის რეჟიმის ადაპტირება. ეს ჩარჩო მიმართულია LLM-ების ერთ-ერთი ნაკლისკენ, რომელიც მდგომარეობს ყველა ტიპის პრობლემისთვის მსჯელობის ერთი და იგივე სტრატეგიის გამოყენებაში.
კალიფორნიის უნივერსიტეტის, სამხრეთ კალიფორნიის უნივერსიტეტისა და Microsoft Research-ის მკვლევართა მიერ სტატიაში წარმოდგენილი METASCALE იყენებს „მეტა-აზრებს“ — თითოეული ამოცანისთვის მორგებულ ადაპტურ აზროვნების სტრატეგიებს — LLM-ების მუშაობისა და განზოგადების გასაუმჯობესებლად სხვადასხვა ამოცანებში.
ეს მიდგომა საწარმოებს სთავაზობს გზას გააუმჯობესონ LLM აპლიკაციების სიზუსტე და ეფექტურობა მოდელების შეცვლის ან ძვირადღირებული დახვეწის გარეშე.
ფიქსირებული მსჯელობის სტრატეგიების შეზღუდვები
LLM აპლიკაციების ერთ-ერთი მთავარი გამოწვევა არის მათი ფიქსირებული და მოუქნელი მსჯელობის ქცევა. ადამიანებისგან განსხვავებით, რომლებსაც შეუძლიათ შეგნებულად აირჩიონ პრობლემების გადაჭრის სხვადასხვა მიდგომა, LLM-ები ხშირად ეყრდნობიან ნიმუშების შესაბამისობას მათი სასწავლო მონაცემებიდან, რაც ყოველთვის ვერ ემთხვევა ჯანსაღ მსჯელობის პრინციპებს, რომლებსაც ადამიანები იყენებენ.
LLM-ების მსჯელობის პროცესის რეგულირების ამჟამინდელი მეთოდები, როგორიცაა აზროვნების ჯაჭვის (CoT) წახალისება, თვითგადამოწმება და საპირისპირო აზროვნება, ხშირად შექმნილია კონკრეტული ამოცანებისთვის, რაც ზღუდავს მათ ადაპტირებას და ეფექტურობას მრავალფეროვან სცენარებში.
მკვლევარები აღნიშნავენ, რომ „ეს მიდგომები აწესებს ფიქსირებულ აზროვნების სტრუქტურებს, ნაცვლად იმისა, რომ LLM-ებს მისცენ საშუალება ადაპტურად განსაზღვრონ ამოცანაზე სპეციფიკური ყველაზე ეფექტური სტრატეგია, რაც პოტენციურად ზღუდავს მათ შესრულებას“.
მეტა-აზროვნება
ამ შეზღუდვის გადასაჭრელად მკვლევარები გვთავაზობენ „მეტა-აზროვნების“ კონცეფციას. ეს პროცესი LLM-ებს საშუალებას აძლევს, დაფიქრდნენ თავიანთ მიდგომაზე პასუხის გენერირებამდე. მეტა-აზრები წარმართავს მსჯელობის პროცესს ადამიანის შემეცნებით შთაგონებული ორი კომპონენტის მეშვეობით:
შემეცნებითი აზროვნება: პერსპექტივა, ექსპერტიზა ან როლი, რომელსაც მოდელი იღებს ამოცანისადმი მიდგომისთვის.
პრობლემის გადაჭრის სტრატეგია: სტრუქტურირებული ნიმუში, რომელიც გამოიყენება ამოცანისთვის გადაწყვეტის ფორმულირებისთვის არჩეული აზროვნების საფუძველზე.
პრობლემის უშუალოდ გადაჭრის ნაცვლად, LLM ჯერ განსაზღვრავს, თუ როგორ იფიქროს, ირჩევს ყველაზე შესაფერის შემეცნებით სტრატეგიას. მაგალითად, რთული პროგრამული პრობლემის წინაშე, LLM-მა შესაძლოა პირველად იფიქროს იმ პროფესიონალის ტიპზე, რომელიც მას გადაჭრის (მაგ., პროგრამული ინჟინერი) და აირჩიოს პრობლემის გადაჭრის სტრატეგია (მაგ., დიზაინის ნიმუშების გამოყენება პრობლემის დასაშლელად ან მიკრო-სერვისების მიდგომის გამოყენება განლაგების გასამარტივებლად).
„ამ მეტა-აზროვნების ნაბიჯის ჩართვით, LLM-ებს შეუძლიათ დინამიურად მოახდინონ თავიანთი მსჯელობის პროცესის ადაპტირება სხვადასხვა ამოცანებთან, ნაცვლად ხისტი, წინასწარ განსაზღვრული ევრისტიკის დაყრდნობისა“, - წერენ მკვლევარები.
METASCALE
მეტა-აზრების საფუძველზე, მკვლევარებმა წარმოადგინეს METASCALE, სატესტო დროის ჩარჩო, რომელიც შეიძლება გამოყენებულ იქნას ნებისმიერ მოდელზე სწრაფი ინჟინერიის საშუალებით.
„მიზანია, LLM-ებს მივცეთ საშუალება გამოიკვლიონ აზროვნების სხვადასხვა სტრატეგია და შექმნან ყველაზე ეფექტური პასუხი მოცემული შეყვანისთვის“, - აცხადებენ ისინი.
METASCALE მუშაობს სამ ფაზად:
ინიციალიზაცია: METASCALE წარმოქმნის მსჯელობის სტრატეგიების მრავალფეროვან ფონდს შეყვანის მოთხოვნის საფუძველზე. ამას აკეთებს LLM-ის სტრატეგიების თვით-კომპოზიციის წახალისებით და ინსტრუქციული-დაყენების მონაცემთა ნაკრებების გამოყენებით, რომლებიც შეიცავს მსჯელობის შაბლონებს სხვადასხვა ტიპის პრობლემებისთვის. ეს კომბინაცია ქმნის მეტა-აზრების მდიდარ საწყის ფონდს.
შერჩევა: მრავალხელიანი ბანდიტის (MAB) ალგორითმი ირჩევს ყველაზე პერსპექტიულ მეტა-აზრს თითოეული გამეორებისთვის. MAB არის პრობლემური ჩარჩო, სადაც აგენტმა განმეორებით უნდა აირჩიოს მრავალ ვარიანტს, ანუ „ხელებს“ შორის, თითოეულს აქვს უცნობი ჯილდოს განაწილება. ძირითადი გამოწვევა მდგომარეობს „ძიების“ (მაგ., აზროვნების სხვადასხვა სტრატეგიის მოსინჯვა) და „ექსპლუატაციის“ (მსჯელობის სტრატეგიის თანმიმდევრულად შერჩევა, რომელიც ადრე საუკეთესო პასუხებს იძლეოდა) დაბალანსებაში. METASCALE-ში, თითოეული მეტა-აზრი განიხილება როგორც ხელი, ხოლო მიზანია ჯილდოს (პასუხის ხარისხი) მაქსიმიზაცია არჩეული მეტა-აზრის საფუძველზე.
ევოლუცია: გენეტიკური ალგორითმი აუმჯობესებს და აფართოებს შემეცნებითი სტრატეგიების ფონდს იტერაციულად. METASCALE იყენებს მაღალი წარმადობის მეტა-აზრებს, როგორც „მშობლებს“ ახალი „შვილის“ მეტა-აზრების წარმოებისთვის. LLM-ს ევალება დახვეწილი მეტა-აზრების შემუშავება, რომლებიც აერთიანებენ და აუმჯობესებენ შერჩეულ მშობლებს. ეფექტურობის შესანარჩუნებლად, METASCALE მუშაობს ფიქსირებული შერჩევის ბიუჯეტის ფარგლებში მეტა-აზრების გენერირებისას.
METASCALE მოქმედებაში
მკვლევარებმა შეაფასეს METASCALE მათემატიკური მსჯელობის ბენჩმარკებზე (GSM8K), ცოდნისა და ენის გაგებაზე (MMLU-Pro) და Arena-Hard, შეადარეს რა ოთხ საბაზისო დასკვნის მეთოდს: პირდაპირი პასუხები (ერთჯერადი დასკვნა), CoT, Best-of-N (მრავალი პასუხის შერჩევა და საუკეთესოს არჩევა) და Best-of-N CoT-ით. მათ გამოიყენეს GPT-4o და Llama-3.1-8B-Instruct, როგორც ექსპერიმენტებისთვის საყრდენი მოდელები.
შედეგები აჩვენებს, რომ METASCALE მნიშვნელოვნად აუმჯობესებს LLM-ების პრობლემების გადაჭრის შესაძლებლობებს მრავალფეროვან ამოცანებში, თანმიმდევრულად აჯობებს საბაზისო მეთოდებს. METASCALE-მ მიაღწია თანაბარ ან უფრო მაღალ შესრულებას ყველა საბაზისო მეთოდთან შედარებით, მიუხედავად იმისა, იყენებდნენ თუ არა ისინი CoT წახალისებას. აღსანიშნავია, რომ GPT-4o METASCALE-ით აჯობებდა o1-mini-ს სტილის კონტროლის ქვეშ.
„ეს შედეგები აჩვენებს, რომ მეტა-აზრების ინტეგრირება LLM-ებს საშუალებას აძლევს უფრო ეფექტურად გაიზარდონ ტესტირების დროს, ნიმუშების რაოდენობის ზრდასთან ერთად“, - აცხადებენ მკვლევარები.
კანდიდატი გადაწყვეტილებების რაოდენობის გაზრდასთან ერთად, METASCALE-მა აჩვენა მნიშვნელოვნად მაღალი მოგება, ვიდრე სხვა საბაზისო მაჩვენებლებმა, რაც მიუთითებს იმაზე, რომ ეს არის მასშტაბირების უფრო ეფექტური სტრატეგია.
როგორც სატესტო დროის ტექნიკა, METASCALE დაგეხმარებათ გააუმჯობესოთ LLM-ების მსჯელობის ხარისხი სწრაფი ინჟინერიის საშუალებით მოდელების დახვეწის ან შეცვლის გარეშე. ის ასევე არ საჭიროებს მოდელების თავზე კომპლექსური პროგრამული უზრუნველყოფის აგებას, რადგან ლოგიკა მთლიანად თავად LLM-ის მიერ არის მოწოდებული.
LLM-ების მსჯელობის სტრატეგიების დინამიურად მორგებით, METASCALE ასევე პრაქტიკულია რეალურ სამყაროში აპლიკაციებისთვის, რომლებიც ამუშავებენ სხვადასხვა მსჯელობის ამოცანებს. ის ასევე არის შავი ყუთის მეთოდი, რომელიც შეიძლება გამოყენებულ იქნას ღია კოდის მოდელებზე, რომლებიც მუშაობენ საწარმოს ღრუბელზე ან დახურულ მოდელებზე, რომლებიც მუშაობენ მესამე მხარის API-ების მიღმა. ის აჩვენებს სატესტო დროის მასშტაბირების ტექნიკის პერსპექტიულ შესაძლებლობებს მსჯელობის ამოცანებისთვის.
გსურთ კომენტარის დატოვება?
კომენტარის დასატოვებლად საჭიროა ავტორიზაცია
შესვლა რეგისტრაციაკომენტარები არ არის
იყავით პირველი, ვინც დატოვებს კომენტარს