Tag
Všetky publikované články, v ktorých sa téma RLHF objavuje ako dôležitý kontext. Aktuálne 3 textov v archíve.
Nový preprint ξ-DPO tvrdí, že pri direct preference optimization vie nahradiť ťažko čitateľnú margin schému interpretovateľnejším pomerovým cieľom. Pre tímy, ktoré dolaďujú modely na ľudských preferenciách, to môže znamenať menej slepého skúšania a ľahšie prenositeľné nastavenia.
Výskumníci z Apple tvrdia, že pri multi-cieľovom dolaďovaní jazykových modelov nestačí maximalizovať priemernú odmenu. Ich metóda RVPO má obmedziť situácie, v ktorých model exceluje v jednej metrike, ale zlyháva v bezpečnosti, formáte alebo pri volaní nástrojov.
Práca ARES tvrdí, že bezpečnostné testovanie LLM nestačí zamerať iba na samotný model. Pri RLHF môže zlyhávať aj reward model, a preto navrhuje spoločné red-teaming a následnú opravu oboch vrstiev naraz.