Αντίληψη ποιότητας εικόνας διαφέρει σημαντικά μεταξύ ατόμων
Έχω παρατηρήσει ότι η αντίληψη της ποιότητας εικόνας διαφέρει πολύ από άτομο σε άτομο. Κάποιοι δεν διακρίνουν διαφορά ανάμεσα σε ένα παιχνίδι με DLSS στη ρύθμιση Performance και σε ένα που τρέχει σε Native, ενώ άλλοι αγνοούν εύκολα τη θολούρα από κακή υλοποίηση TAA, όταν οι φίλοι τους ενοχλούνται έντονα. Το νέο εργαλείο της Intel, όμως, προσπαθεί να εστιάσει στην ποιότητα εικόνας και να προσφέρει ένα μετρήσιμο αποτέλεσμα για να βοηθήσει τους δημιουργούς παιχνιδιών.
Το εργαλείο Computer Graphics Video Quality Metric (CVGM) έχει στόχο να ανιχνεύει και να αξιολογεί παραμορφώσεις που προκαλούνται από σύγχρονες τεχνικές απεικόνισης, όπως neural supersampling, path tracing και variable rate shading, ώστε να παρέχει χρήσιμα αποτελέσματα αξιολόγησης.
Η ομάδα της Intel χρησιμοποίησε 80 σύντομες ακολουθίες βίντεο που δείχνουν διάφορα οπτικά τεχνουργήματα από μεθόδους supersampling όπως DLSS, FSR και XeSS, καθώς και άλλες σύγχρονες τεχνικές απεικόνισης. Στη συνέχεια, πραγματοποίησαν μελέτη με 20 συμμετέχοντες, οι οποίοι βαθμολόγησαν την αντιλαμβανόμενη ποιότητα των βίντεο σε σύγκριση με μια αναφορά.
Οι παραμορφώσεις που εμφανίζονται στα βίντεο περιλαμβάνουν:
- τρεμόπαιγμα
- ghosting
- μοτίβα moire
- fireflies
- θολές σκηνές
- και ακόμη και ψευδαισθήσεις, όπου ένα νευρωνικό μοντέλο ανακατασκευάζει τα οπτικά δεδομένα εντελώς λανθασμένα.
Ίσως περιμένατε αυτό το σημείο: Ένα μοντέλο 3D CNN (δηλαδή το είδος AI που χρησιμοποιείται σε πολλές παραδοσιακές τεχνικές βελτίωσης εικόνας) ρυθμίστηκε με βάση τα δεδομένα των συμμετεχόντων, ώστε να προβλέπει την ποιότητα εικόνας συγκρίνοντας τα βίντεο αναφοράς και τα παραμορφωμένα. Το εργαλείο χρησιμοποιεί το μοντέλο για να ανιχνεύει και να αξιολογεί οπτικά σφάλματα, παρέχοντας συνολικό σκορ ποιότητας και χάρτες σφαλμάτων ανά pixel, που επισημαίνουν τα τεχνουργήματα και προσπαθούν να εντοπίσουν την αιτία τους.
Σύμφωνα με την Intel, το τελικό αποτέλεσμα είναι ένα εργαλείο που ξεπερνά τα υπάρχοντα μετρικά στην πρόβλεψη του πώς οι άνθρωποι αντιλαμβάνονται τις οπτικές παραμορφώσεις. Όχι μόνο προβλέπει πόσο ενοχλητικό θα βρει ένας παίκτης ένα σφάλμα, αλλά προσφέρει και ευανάγνωστους χάρτες που δείχνουν ακριβώς πού εμφανίζεται στη σκηνή. Η Intel ελπίζει ότι θα χρησιμοποιηθεί για τη βελτιστοποίηση της ισορροπίας ποιότητας και απόδοσης κατά την υλοποίηση upscalers, καθώς και για πιο έξυπνη δημιουργία αναφορών για την εκπαίδευση αλγορίθμων denoising.
«Είτε εκπαιδεύετε neural renderers, αξιολογείτε ενημερώσεις μηχανών, είτε δοκιμάζετε νέες τεχνικές upscaling, η ύπαρξη ενός μετρικού που ευθυγραμμίζεται με την ανθρώπινη κρίση είναι τεράστιο πλεονέκτημα», αναφέρει η Intel.
Περιορισμοί και μελλοντικές βελτιώσεις του CGVQM
«Αν και η τρέχουσα εξάρτηση του [CGVQM] από βίντεο αναφοράς περιορίζει κάποιες εφαρμογές, η συνεχιζόμενη δουλειά στοχεύει να επεκτείνει τις δυνατότητές του ενσωματώνοντας saliency, συνοχή κίνησης και σημασιολογική επίγνωση, ώστε να γίνει ακόμη πιο ανθεκτικό σε πραγματικές συνθήκες.»
Δεν χρειάζεται να ψάξετε πολύ στο διαδίκτυο για να βρείτε παράπονα για οπτικά τεχνουργήματα που προκαλούνται από αυτές τις σύγχρονες τεχνικές βελτίωσης εικόνας και ρυθμού καρέ (ένα συγκεκριμένο sub-Reddit έρχεται στο μυαλό). Οπότε, οτιδήποτε βοηθά τους developers να κατανοήσουν καλύτερα πόσο ενοχλητικά μπορεί να είναι αυτά τα σφάλματα, αποτελεί πρόοδο. Το εργαλείο είναι πλέον διαθέσιμο στο GitHub ως υλοποίηση PyTorch, οπότε developers, δοκιμάστε το.