Hellas Inference
Μετρήσεις (benchmarks)

Μετρήσεις, όχι υποσχέσεις.

Κάθε αριθμός παρακάτω μετρήθηκε από εμάς στις δικές μας GPU· οι παράγωγες εκτιμήσεις σημειώνονται με ≈ και υποσημείωση.

  • / GPU
    ταυτόχρονες συνόψεις
  • / 5c
    ποιότητα RAG
  • −%
    μείωση καθυστέρησης
  • ροές TTS
  • / H200
    φωνητικές κλήσεις
  • ≈–×d
    φθηνότερα από frontier API
Το stack που παραδίδουμε
  • NVIDIA H200
  • vLLM FP8
  • prefix caching
  • Iris 8B
  • Metis 12B · 26B
  • Clio
  • Calliope
Αρχείο μετρήσεων

Τι έχουμε μετρήσει

01

Σύνοψη κλήσεων IVR στα ελληνικά

Συνόψεις πραγματικών κλήσεων ελληνικού τηλεφωνικού κέντρου τηλεπικοινωνιών. Iris 8B (βασισμένο στο Krikri-8B), FP8, vLLM, μία H200.

200
ταυτόχρονες ανά GPU εντός KPI 2 δευτερολέπτων
−45%
καθυστέρηση σε 200 ταυτόχρονες, με τις οδηγίες πριν από την απομαγνητοφώνηση
≈ 1/30a
κόστος ανά κλήση σε σχέση με frontier API
Καθυστέρηση σύνοψης κλήσεων σε 200 ταυτόχρονα αιτήματα, πριν και μετά την αναδιάταξη του promptΗ σχετική καθυστέρηση πέφτει από 100% σε 55%, μείωση 45%, με την ίδια ποιότητα σύνοψης.Πριν100%Μετά55%
Σχετική καθυστέρηση σε 200 ταυτόχρονες· οι οδηγίες μπήκαν πριν από την απομαγνητοφώνηση.

Γιατί μετράει: η σύνοψη φεύγει από τα αμερικανικά API με κλάσμα του κόστους, με επαληθευμένη ισοδύναμη ποιότητα.

02

RAG helpdesk στα ελληνικά (benchmark Pythia)

Απαντήσεις πάνω σε ελληνικά εταιρικά έγγραφα, με βαθμολογία κριτή σε κλίμακα 5 βαθμών. Dense ανάκτηση, πλήρες έγγραφο ως πλαίσιο, ανοιχτό μοντέλο.

4,41c
Gemma-4-12B, στο επίπεδο των κορυφαίων μοντέλων
4,18
Krikri-8B
+0,20
πιστότητα από εμπλουτισμό OCR των στιγμιότυπων οθόνης
Ποιότητα απαντήσεων σε ελληνικά εταιρικά έγγραφα, κατά τη βαθμολογία κριτήΤο Gemma-4-12B πετυχαίνει 4,41 στα 5, ίσο με το όριο των frontier μοντέλων (4,41)· το Krikri-8B πετυχαίνει 4,18.012345Gemma-4-12B4,41Krikri-8B4,18Όριο frontier4,41
Κλίμακα 0–5· το διακεκομμένο περίγραμμα είναι το καλύτερο frontier μοντέλο που δοκιμάσαμε.c

Γιατί μετράει: τα ανοιχτά μοντέλα φτάνουν την ποιότητα των frontier σε ελληνικά έγγραφα. Η dense ανάκτηση ξεπέρασε την υβριδική BM25 + dense σε αυτό το σώμα κειμένων, γι’ αυτό κρατάμε την απλούστερη διαδρομή.

03

Μοντέλο πράκτορα: tool calling

Εργασίες κρατήσεων και εξυπηρέτησης στο περιβάλλον δοκιμών του φωνητικού μας πράκτορα.

131 / 190
εργασίες που ολοκληρώθηκαν σωστά, Gemma-4-26B-A4B
8 / 190
εργασίες που ολοκληρώθηκαν σωστά, Krikri-8B
Εργασίες κρατήσεων και εξυπηρέτησης που ολοκληρώθηκαν σωστά, από 190Το Gemma-4-26B-A4B ολοκληρώνει 131 από 190 εργασίες· το Krikri-8B 8 από 190.Gemma-4-26B-A4B131 / 190Krikri-8B8 / 190
Η αχνή μπάρα είναι το σύνολο των 190 εργασιών.

Γιατί μετράει: το σωστό μοντέλο για κάθε ρόλο. Το Gemma 4 χειρίζεται τα εργαλεία, το Krikri μένει το μοντέλο για το ελληνικό κείμενο των τηλεφωνικών κέντρων.

04

Ελληνική σύνθεση φωνής

Orpheus-3B, η βάση της Calliope, σε vLLM, μία H200. Μετρήθηκε πριν ενσωματωθεί το adapter της φωνής· ένα ενσωματωμένο adapter δεν αλλάζει το μέγεθος του μοντέλου.

423
ταυτόχρονες ροές ανά GPU
423 ταυτόχρονες ροές ελληνικής σύνθεσης φωνής σε μία H200Πλέγμα 423 κουκκίδων, μία για κάθε ταυτόχρονη ροή.
Κάθε κουκκίδα είναι μία ταυτόχρονη ροή ελληνικής σύνθεσης φωνής σε μία H200.

Γιατί μετράει: το υπολογιστικό κόστος TTS ανά λεπτό ομιλίας είναι ≈ κάτω από 0,01 €.b

05

Φωνή, από άκρη σε άκρη

Αναγνώριση ομιλίας Clio, ανίχνευση ομιλίας, το μοντέλο πράκτορα Metis και φωνή Calliope σε μία H200.

8
ταυτόχρονες κλήσεις ανά H200 χωρίς να χάνεται καμία φράση του καλούντα· 16 με τέσσερις διεργασίες αναγνώρισης ομιλίας
4,55 / 6,66 s
p50 / p90 από το τέλος της ομιλίας του καλούντα έως τον πρώτο ήχο της απάντησης, σε 8 κλήσεις
1,92 / 2,53 s
p50 / p90 με μία κλήση στην GPU
32 / GPU
ροές αναγνώρισης ομιλίας με batching
Χρόνος απόκρισης φωνής από άκρη σε άκρη, σε 8 ταυτόχρονες κλήσεις ανά H200Το p50 είναι 4,55 δευτερόλεπτα και το p90 6,66 δευτερόλεπτα, έναντι KPI 2,0 δευτερολέπτων.0 s2 s4 s6 sp504,55 sp906,66 sKPI 2,0 s
Η διακεκομμένη γραμμή δείχνει το KPI των 2,0 s. Είναι ο αριθμός που δουλεύουμε περισσότερο για να μειώσουμε.b

Γιατί μετράει: αυτή είναι η βάση διαστασιολόγησης για μεγάλα τηλεφωνικά κέντρα και ο αριθμός που δουλεύουμε περισσότερο για να ανεβάσουμε.

06

Τεχνογνωσία εξυπηρέτησης

Κβαντοποίηση και ρυθμίσεις scheduler σε GPU Hopper.

8×
πιο αργό: AWQ INT4 έναντι FP8 σε H200
256
βέλτιστο max-num-seqs στο vLLM
Σχετική απόδοση σε H200: FP8 έναντι AWQ INT4Το FP8 αποδίδει 8 φορές περισσότερο από το AWQ INT4 σε H200.FP88×AWQ INT41×
Σχετική απόδοση σε H200, μεγαλύτερο είναι καλύτερο.

Γιατί μετράει: οι λειτουργικές λεπτομέρειες καθορίζουν το κόστος ανά κλήση. Τις μετράμε, δεν τις υποθέτουμε.

  1. a ≈1/30 κόστος έναντι frontier API: εκτίμηση από τη μετρημένη απόδοση της H200 × κόστος ενοικίασης ανά ώρα, έναντι των δημόσιων τιμών frontier API για τον ίδιο όγκο tokens, Νοέμβριος 2026.
  2. b Λεπτό ομιλίας κάτω από 0,01 €: μόνο το υπολογιστικό κόστος της σύνθεσης φωνής (TTS)· η φωνή από άκρη σε άκρη (ASR + LLM + TTS) μετρήθηκε σε 8 ταυτόχρονες κλήσεις ανά H200, με χρόνο απόκρισης p50 4,55 s / p90 6,66 s, με καλούντες σε ρυθμό πραγματικής κλήσης και χωρίς την καθυστέρηση του τηλεφωνικού δικτύου (26 Οκτωβρίου 2026).
  3. d ≈10–250× φθηνότερα από frontier API: εκτιμώμενο εύρος στα φορτία μας, από τη μετρημένη απόδοση της H200 × κόστος ενοικίασης ανά ώρα, έναντι των δημόσιων τιμών frontier API για τον ίδιο όγκο tokens, Νοέμβριος 2026. Ο λόγος εξαρτάται από την εργασία, το μήκος του prompt, τη χρήση της GPU και το frontier μοντέλο σύγκρισης· η σύνοψη κλήσεων στα ελληνικά βρίσκεται στο ≈30× (σημείωση a).
  4. c Βαθμολογίες ποιότητας: frontier μοντέλο ως κριτής με σταθερά κριτήρια, ελληνικές απαντήσεις αναφοράς· ο κριτής και τα κριτήρια δημοσιεύονται στο πλήρες αρχείο μετρήσεων.
Μετρημένο ή δηλωμένο

Δημοσιεύουμε το stack, τις ρυθμίσεις και τα δεδομένα που έχουν εγκριθεί για αξιολόγηση. Αν ένας αριθμός εδώ δεν μπορεί να αναπαραχθεί στο stack που παραδίδουμε, τον αποσύρουμε.

Μεθοδολογία

Πώς μετράμε

  • Το ίδιο stack που εγκαθιστούμε: vLLM, FP8, NVIDIA H200.
  • Η ποιότητα βαθμολογείται από frontier μοντέλα που λειτουργούν μόνο ως κριτές, σε δεδομένα εγκεκριμένα για αξιολόγηση.
  • Ζευγαρωτές συγκρίσεις: ίδια δεδομένα, μία αλλαγή κάθε φορά.
  • Οι μετρήσεις σε ενοικιαζόμενες GPU γίνονται μόνο με δεδομένα που δεν ανήκουν σε πελάτες.

Ρόλοι μοντέλων. Iris: το άμεσο μοντέλο, για ελληνικό κείμενο τηλεφωνικών κέντρων και συνόψεις κλήσεων. Metis: το μοντέλο συλλογισμού, για ερωτήσεις σε έγγραφα και πράκτορες που καλούν εργαλεία. Clio: αναγνώριση ομιλίας. Calliope: φωνή. Το καθένα είναι ανοιχτό μοντέλο βάσης με δικό μας εξειδικευμένο adapter· το μοντέλο βάσης αναγράφεται σε κάθε κάρτα. Τα Llama και Qwen παραμένουν διαθέσιμα ως εναλλακτικές δρομολόγησης.

Επόμενο

Δημόσιο benchmark επιχειρησιακής ακρίβειας

Πόσο συχνά μια απάντηση είναι σωστή για την επιχείρηση, με και χωρίς Company Brain, σε ελληνικά δεδομένα, συγκρίνοντας μικρά ανοιχτά μοντέλα με frontier μοντέλα.

Κάθε εξειδικευμένο (fine-tuned) μοντέλο που παραδίδουμε συνοδεύεται ήδη από φάκελο AI Act (Κανονισμός (ΕΕ) 2024/1689 για την τεχνητή νοημοσύνη) και model card με κατάλογο δεδομένων εκπαίδευσης.

Το ερευνητικό μας πρόγραμμα

Μετρήστε το στα δικά σας δεδομένα.

Τρέχουμε το ίδιο benchmark σε δείγμα από τις κλήσεις ή τα έγγραφά σας πριν δεσμευτείτε.

Ζητήστε παρουσίαση[email protected]