Έρευνα

Ισχύει ο νόμος κλιμάκωσης της κακής βαθμονόμησης στην κίνηση παραγωγής;

Εμφανίζεται και σε πραγματική κίνηση πελατών η σχέση μεγέθους μοντέλου και κακής βαθμονόμησης που αναφέρεται στα benchmarks;

Θυσιάζει η on-policy distillation τη «μακριά ουρά»;

Όταν ένα μικρό μοντέλο μαθαίνει από ένα μεγαλύτερο πάνω στις δικές του εξόδους, χάνει τις σπάνιες περιπτώσεις;

Οριοθετημένο μηδενικό αποτέλεσμα

Πόση από τη βιβλιογραφία της on-policy distillation αντέχει σε μια αλλαγή seed;

Αν αλλάξει το seed, πόσες από τις αναφερόμενες βελτιώσεις παραμένουν;

Τα δύο τρίτα των ισχυρισμών μιας βιβλιογραφίας δεν συγκρίνονται με τίποτα: απογραφή του τρόπου αναφοράς

Πόσοι δημοσιευμένοι ισχυρισμοί αναφέρουν αρκετά στοιχεία ώστε να συγκριθούν με οποιοδήποτε άλλο αποτέλεσμα;

Είναι η διόγκωση από μόλυνση των benchmarks δομημένη ανά κατηγορία;

Φουσκώνει η μόλυνση τις βαθμολογίες ομοιόμορφα ή μόνο σε ορισμένες κατηγορίες ερωτήσεων;

Η αναπαραγωγιμότητα είναι ιδιότητα της εκτέλεσης: επιδράσεις της σειράς αξιολόγησης στο vLLM

Εξαρτάται η βαθμολογία μιας αξιολόγησης σε vLLM από τη σειρά με την οποία η εκτέλεση επεξεργάζεται τα δείγματα;

Το «σβήσιμο των ενδείξεων» προστατεύει ή παρακάμπτει; Τι μετρούν στην πράξη οι ανιχνευτές κειμένου AI

Όταν αφαιρούνται τα χαρακτηριστικά που προδίδουν κείμενο AI, οι ανιχνευτές μετρούν ακόμη την προέλευση ή μόνο το ύφος;

Εύρος καθαρισμού, όχι μόνο ακρίβεια καθαρισμού: κάλυψη πεδίων και ανάκληση ονομάτων στη συλλογή δεδομένων εκπαίδευσης από την παραγωγή

Όταν τα δεδομένα παραγωγής καθαρίζονται για εκπαίδευση, καλύπτονται τα σωστά πεδία και εντοπίζονται τα ονόματα προσώπων;

Η κίνηση παραγωγής ως κριτήριο ορθότητας για τη μετάπτωση παλαιών συστημάτων από πράκτορες

Μπορεί η καταγεγραμμένη κίνηση παραγωγής να κρίνει αν είναι σωστή η μετάπτωση ενός παλαιού συστήματος από πράκτορα AI;

Ο έλεγχος μετ’ επιστροφής πιστοποιεί ότι η αντιστοίχιση είναι ένα προς ένα, όχι ότι είναι σωστή: γιατί μια πύλη κανονικοποίησης κειμένου πέρασε τα σφάλματα που βρήκε ένας συνεργάτης

Γιατί η πύλη κανονικοποίησης κειμένου σε έναν φωνητικό πράκτορα ελληνικού παρόχου τηλεπικοινωνιών, σε παραγωγή, άφησε να περάσουν σφάλματα που εντόπισε αργότερα ένας συνεργάτης;

Πόσες ερωτήσεις χρειάζεται ένα ταίριασμα; Ο προϋπολογισμός ερωτήσεων ως άξονας αξιολόγησης

Πόσες ερωτήσεις πρέπει να κάνει ένα σύστημα πριν προτείνει ένα ταίριασμα, και πρέπει αυτός ο προϋπολογισμός να βαθμολογείται;