Monolingual and multilingual subtitling

Sub4All (2006-2008) aimed at the development of a system for automatic monolingual and multilingual subtitling of multimedia content. In the pilot system developed, the project focused on English and Greek television programmes from the news and politics domain. We investigated the integration of a speech recognition subsystem in a respeaking environment, as well as the development of a module for audio-script alignment. We also developed a subsystem for sentence condensation of transcribed text. Finally, we integrated a statistical machine translation engine which, combined with translation and terminological memories, produced translated versions of the automatically generated subtitles in EN and EL.

Sub4All built a working prototype for subtitle production that will assist human subtitlers in their work. Thus, the project's final deliverable will become a valuable tool for both subtitle companies and multimedia content providers, by reducing subtitle production cost. Sub4All supports the European Union's plans for equal access to information for all people, including citizens with disabilities.

Publications, presentations and deliverables (mostly in Greek)

• Prokopis Prokopidis, Vassia Karra, Aggeliki Papagianopoulou, and Stelios Piperidis. Condensing sentences for subtitle generation. In Proceedings of the Sixth International Conference on Language Resources and Evaluation, Marrakech, Morocco, May 2008. ELRA.
• Παρουσίαση σχετικά με τη Τεχνολογίες αυτόματου υποτιτλισμού: Στάθμη τεχνικής και τάσεις
• Παρουσίαση σχετικά με τη Συμπύκνωση Κειμένου για την Παραγωγή Υποτίτλων
• Παρουσίαση σχετικά με το Υποσύστημα Αναγώρισης Φωνής
• Π1.1 Ανάλυση απαιτήσεων χρηστών: Το Π1.1 περιέχει τις δραστηριότητες της κοινοπραξίας του έργου Sub4All σχετικά με την καταγραφή α) της τρέχουσας κατάστασης στις μεθόδους και τις προτεραιότητες του υποτιτλισμού στη ραγδαία εξελισσόμενη αγορά οπτικοακουστικού υλικού και β) των προτύπων και απαιτήσεων στην παραγωγή και οπτική παρουσίαση των υπότιτλων.
• Π2.1 Συλλογή Πολυμεσικού Περιεχομένου: Το Π2.1 αφορά στη συλλογή πολυμεσικού περιεχομένου το οποίο χρησιμοποιείται για την ανάπτυξη, την εκπαίδευση και την αξιολόγηση του συστήματος. Το πολυμεσικό περιεχόμενο απαρτίζεται από το video, το σενάριο (script) ή την κειμενική μεταγραφή (transcript) και τους υπότιτλους σε ΕL και ΕΝ. Το Αγγλικό πολυμεσικό περιεχόμενο αφορά σε προγράμματα του History Channel, ενώ το Ελληνικό πολυμεσικό περιεχόμενο αντλήθηκε από καταγραφές από το ελεύθερο κανάλι της Βουλής. Τα video της συλλογής είναι ψηφιοποιημένα σε .mpeg1, ενώ οι υπότιτλοι αποθηκεύονται σε αρχεία που ακολουθούν καθιερωμένα πρότυπα της διεθνούς βιομηχανίας υποτίτλων.
• Π3.2 Περιγραφή του λογισμικού του υποσυστήματος μεταγραφής φωνής σε κείμενο: Tο παρόν υποσύστημα παρέχει την δυνατότητα επεξεργασίας του σήματος φωνής και την εξαγωγή χαρακτηριστικών με την μετατροπή κάθε τμήματος του σήματος φωνής (speech frame) σε ένα σύνολο τιμών cepstral coefficients. Στην συνέχεια, επικεντρώνεται στην ακουστική μοντελοποίηση, επιτρέποντας τα ακουστικά μοντέλα φωνημάτων να παρέχουν εκτιμήσεις των πιθανοτήτων των χαρακτηριστικών, με δεδομένο μια ακολουθία λέξεων.
• Π4.2 Υποσύστημα Επεξεργασίας και Συμπύκνωσης Κειμένου: Μεταξύ άλλων, στο Π.4.2 παρουσιάζεται η βασική αρχιτεκτονική του ΥΕΣΚ, ενώ αναλύονται ο τρόπος υπολογισμού των περιορισμών συμπύκνωσης και η μορφοσυντακτική ανάλυση, διεργασίες οι οποίες καθοδηγούν τη λειτουργία του αρθρώματος συμπύκνωσης. Εξετάζονται οι βασικές διεργασίες του αρθρώματος συμπύκνωσης κειμένου, δηλαδή η εφαρμογή παραφράσεων και οι κανόνες διαγραφής.
• Π5.2 Υποσύστημα Μετάφρασης Υποτίτλων: Το Π5.2 αναφέρεται στο Υποσύστημα Μετάφρασης υποτίτλων από τα Ελληνικά στα Αγγλικά και αντίστροφα (ΥΜ). Μεταξύ άλλων, στο Π.5.2 παρουσιάζονται τα υποσυστήματα μεταφραστικής μνήμης και στατιστικής μηχανικής μετάφρασης, οι πόροι και η μεθοδολογία του υποσυστήματος.
• Π6.3 Περιγραφή της διεπαφής για την επισκόπηση υποτίτλων και του λογισμικού των υποσυστημάτων και του τελικού πρωτοτύπου: Στο Π6.3 παρουσιάζονται μεταξύ άλλων α) η προσαρμογή μιας διεπαφής για την επισκόπηση, διόρθωση και ποιοτική αξιολόγηση των αυτόματα παραχθέντων υποτίτλων και β) η ενσωμάτωση των επιμέρους υποσυστημάτων του Sub4All σε ένα ολοκληρωμένο πρωτότυπο για την υποβοήθηση του υποτιτλιστή με την παραγωγή σχεδίων υποτίτλων.
• Π7.1 Αξιολόγηση: Στο Π7.1 αξιολογούνται τα επιμέρους υποσυστήματα, το τελικό πρωτότυπο και ο βαθμός επιτυχίας τους σύμφωνα με τις απαιτήσεις των χρηστών.
• Π8.2 Διάδοση και Αξιοποίηση Αποτελεσμάτων: Το Π8.2 αναφέρεται στην ανάλυση και αξιολόγηση της αγοράς του υποτιτλισμού, καθώς επίσης και σε μία περιγραφή των διαθέσιμων εργαλείων σε αυτόν τον τομέα.

Consortium

The Institute for Language and Speech Processing carries out applied research in Speech Processing, Text Processing and Language Learning Technologies. ILSP's expertise includes basic fields as NLP, DSP and Pattern Recognition. The Institute's mission is to support basic research, promoting on the other hand the development of new products in the form of laboratory prototypes.	Lumiere Cosmos Communications S.A is one of the leading companies in multilingual subtitling. LCC is responsible for translating and subtitling of several channels such as Discovery Channel, BBC, Animal Planet, Travel Channel, National Geographic (for the Greek Digital Platform), Filmnet, Filmsat, Supersport (for the Greek pay television), LTV and Alpha (for the Cypriot pay television).