LLM stále zlyhávajú pri abstraktných pojmoch viac, než sa čakalo
Nový paper pripomína, že veľké jazykové modely nemusia mať pevné chápanie abstraktných významov. Na úlohe ReCAM zaostávajú aj za staršími fine-tuned modelmi.
Tag
#LLM
Všetky publikované články, v ktorých sa téma LLM objavuje ako dôležitý kontext. Aktuálne 53 textov v archíve.
GoodPoint chce zmeniť AI peer review: model sa učí z odpovedí autorov
Nová práca GoodPoint skúša urobiť z recenzentskej spätnej väzby nie len generovaný text, ale prakticky použiteľné odporúčania. Kľúčová myšlienka je nezvyčajná: kvalitu feedbacku odhadovať cez to, ako naň reagujú samotní autori vedeckých článkov.
LLM majú slabšie chápanie abstraktných významov, než sa čakalo
Nová práca ukazuje, že veľké jazykové modely zaostávajú pri chápaní abstraktných slov a významov viac, než naznačujú bežné dojmy z používania. Pre prax je to dôležitý signál: fluentný text ešte neznamená hlbšie porozumenie a pri zložitejších mentálnych pojmoch môžu byť staršie fine-tuned prístupy spoľahlivejšie než moderné generatívne LLM.
Filtered Reasoning Score chce merať kvalitu reasoningu, nielen presnosť
Nová výskumná práca navrhuje Filtered Reasoning Score, ktorý hodnotí iba najsebaistejšie reasoning trace modelu namiesto jednoduchého priemerovania všetkých pokusov. Cieľom je rozlíšiť modely, ktoré vyzerajú rovnako dobre v presnosti, no opierajú sa o rozdielne kvalitné uvažovanie.
AWS tlačí HyperPod hlbšie do inference: odporúča škálovanie od nuly a sľubuje nižšie náklady na produkčné LLM...
Nový technický materiál AWS ukazuje, ako má SageMaker HyperPod fungovať aj ako inference platforma. Kľúčová téza je praktická: kombinácia KEDA a Karpenteru má umožniť škálovanie od nuly až po produkčnú záťaž bez trvalých nečinných GPU nákladov.