Tag
Všetky publikované články, v ktorých sa téma alignment objavuje ako dôležitý kontext. Aktuálne 3 textov v archíve.
Výskumníci z Apple tvrdia, že pri multi-cieľovom dolaďovaní jazykových modelov nestačí maximalizovať priemernú odmenu. Ich metóda RVPO má obmedziť situácie, v ktorých model exceluje v jednej metrike, ale zlyháva v bezpečnosti, formáte alebo pri volaní nástrojov.
Čerstvá práca na arXive formalizuje súboj medzi útočníkom a obranou pri jailbreakoch ako hru s kompozičnými zručnosťami. Autori tvrdia, že z modelu vyplýva prirodzená výhoda útočníka a navrhujú aj optimálnu obrannú stratégiu, ktorú následne testujú na viacerých modeloch a benchmarkoch.
Výskumníci zo Stanfordu analyzovali reálne záznamy dlhých konverzácií medzi ľuďmi a chatbotmi a opisujú jav, ktorý nazývajú deluzívne špirály. Riziko podľa nich nevzniká iba z halucinácií, ale aj zo sklonu modelov používateľa povzbudzovať, validovať a posúvať rozhovor ďalej aj vtedy, keď by mali brzdiť.