Βοήθεια: Μετάφραση περιεχομένου/Μετάφραση/Ποιότητα μετάφρασης
 |
Σημείωση: Όταν επεξεργάζεστε αυτή τη σελίδα, συμφωνείτε να απελευθερώσετε τη συνεισφορά σας υπό την CC0. Δείτε τις Σελίδες Βοήθειας για το Κοινό Κτήμα για περισσότερες πληροφορίες. | |
Κατά τη δημιουργία μιας μετάφρασης, είναι απαραίτητο να ελέγξετε το περιεχόμενο πριν τη δημοσίευσή του. Πρέπει να βεβαιωθείτε ότι το περιεχόμενο που παράγεται δεν αλλάζει το αρχικό νόημα με ακούσιο τρόπο και να βεβαιωθείτε ότι διαβάζεται φυσικά στη γλώσσα προορισμού. Η αρχική αυτόματη μετάφραση που παρέχεται βοηθά στην επιτάχυνση της διαδικασίας μετάφρασης με ένα χρήσιμο σημείο εκκίνησης, αλλά το εργαλείο ενθαρρύνει τους χρήστες να ελέγξουν και να επεξεργαστούν σημαντικά το αρχικό περιεχόμενο.
Πολλά μηχανισμοί έχουν ως στόχο να εξασφαλιστεί ότι οι μεταφραστές επεξεργάζονται τις αρχικές μεταφράσεις κατάλληλα. Το πρόγραμμα επεξεργασίας μετάφρασης παρακολουθεί πόσο από την αρχική μετάφραση έχει τροποποιηθεί από τον χρήστη και ορίζει διαφορετικά όρια που είτε εμποδίζουν τη δημοσίευση είτε προειδοποιούν τους χρήστες να τους ενθαρρύνουν να ελέγξουν περαιτέρω το περιεχόμενο.
Με αυτόν τον τρόπο, το εργαλείο επιτρέπει στους χρήστες να αξιοποιούν σωστά την αρχική μηχανική μετάφραση, αποτρέποντας παράλληλα τη δημιουργία ελαφρώς αναθεωρημένων, χαμηλής ποιότητας αποτελεσμάτων. Οι λεπτομέρειες αυτές παρουσιάζονται παρακάτω, για να δούμε πώς λειτουργούν αυτά τα όρια, πώς μπορούν να προσαρμοστούν στις ανάγκες κάθε γλώσσας και πώς να μετρηθεί η ποιότητα του περιεχομένου που παράγεται με το εργαλείο.
Όρια για την ενθάρρυνση της αναθεώρησης της μετάφρασης
Content translation tool measures the percentage of modifications that users make to the initial automatic translation provided. Με αυτόν τον τρόπο, το σύστημα γνωρίζει πόσες λέξεις έχουν προστεθεί, αφαιρεθεί ή τροποποιηθεί από την αρχική μετάφραση. Οι μετρήσεις γίνονται σε δύο διαφορετικά επίπεδα: για κάθε παράγραφο και για ολόκληρη την μετάφραση. Σε κάθε επίπεδο εφαρμόζονται διαφορετικά όρια, όπως περιγράφεται παρακάτω.
Όρια για όλη τη μετάφραση
Η δημοσίευση αποκλείεται εάν το 95% ή περισσότερο του ολόκληρου εγγράφου αποτελείται από μη τροποποιημένο, ή μεταφρασμένο από μηχανικό περιεχόμενο. Αυτό το όριο εμποδίζει τις μηχανικές μεταφράσεις που είναι σχεδόν πρώτες ύλες και αποφεύγει σαφείς βανδαλισμούς. Επίσης, εμποδίζει τους χρήστες να προσθέτουν απλώς περιεχόμενο, χωρίς να επεξεργάζονται το τμήμα μηχανικής μετάφρασης. Όπως αναγράφεται παρακάτω, το όριο αυτό μπορεί να προσαρμοστεί ανά γλώσσα.
Όρια για κάθε παράγραφο
Το ποσοστό των τροποποιήσεων από τους χρήστες μετράται επίσης για κάθε παράγραφο. Το ποσοστό των τροποποιήσεων χρήστη μετράται επίσης για κάθε παράγραφο. Μια παράγραφος θεωρείται προβληματική όταν περιέχει περισσότερο από το 85% της αρχικής αυτόματης μετάφρασης (ή, κατά την αντιγραφή του περιεχομένου από το έγγραφο προέλευσης, περιέχει περισσότερο από το 60% μη τροποποιημένου περιεχομένου).
Το πρόγραμμα επεξεργασίας μετάφρασης θα εμφανίζει μια προειδοποίηση για κάθε παράγραφο που θεωρείται προβληματική, ενθαρρύνοντας περαιτέρω αλλαγές από τον χρήστη. Σε ορισμένες περιπτώσεις, οι χρήστες εξακολουθούν να μπορούν να δημοσιεύουν, αλλά η σελίδα που προκύπτει μπορεί να προστεθεί σε μια κατηγορία παρακολούθησης δυνητικά μη ελεγμένων μεταφράσεων για έλεγχο από την κοινότητα. Σε άλλες περιπτώσεις, οι χρήστες ενδέχεται να μην τους επιτρέπεται να δημοσιεύουν καθόλου.
Ακολουθούν ορισμένοι από τους παράγοντες που λαμβάνονται υπόψη για να καθοριστεί εάν θα επιτρέπεται στους χρήστες να δημοσιεύουν ή όχι (ορισμένοι από τους οποίους βρίσκονται ακόμη σε εξέλιξη):
- Ο αριθμός των προβληματικών παραγράφων. Οι χρήστες δεν επιτρέπεται να δημοσιεύουν μεταφράσεις με 50 ή περισσότερες προβληματικές παραγράφους. Επιτρέπεται η δημοσίευση μεταφράσεων με λιγότερες από 50 προβληματικές παραγράφους, αλλά αυτές με 10 έως 49 προβληματικές παραγράφους θα προστεθούν σε μια κατηγορία παρακολούθησης δυνητικά μη ελεγχόμενων μεταφράσεων για έλεγχο από την κοινότητα.
- Προηγούμενες διαγραμμένες μεταφράσεις. Για την αποφυγή επαναλαμβανόμενων προβλημάτων, το εργαλείο προσδιορίζει χρήστες των οποίων οι δημοσιευμένες μεταφράσεις διαγράφηκαν τις τελευταίες 30 ημέρες και επιβάλλει πολύ πιο αυστηρούς περιορισμούς στις επόμενες μεταφραστικές τους προσπάθειες. Για τους χρήστες αυτής της κατηγορίας, αποτρέπεται η δημοσίευση μεταφράσεων με 10 προβληματικές παραγράφους ή περισσότερες, ενώ εκείνες με 9 ή λιγότερο προβληματικές παραγράφους προστίθενται σε μια κατηγορία παρακολούθησης δυνητικά μη ελεγμένων μεταφράσεων για έλεγχο από την κοινότητα.
- Επιβεβαίωση χρήστη. Ένα λιγότερο αυστηρό όριο λαμβάνεται υπόψη για τις παραγράφους που ο χρήστης επισημαίνει ως επιλυμένες—λαμβανόμενη ως ένδειξη ότι ο χρήστης εξέτασε και επιβεβαίωσε την κατάσταση της μετάφρασης. Για τις παραγράφους όπου εμφανίζεται η προειδοποίηση μη τροποποιημένου περιεχομένου, αλλά ο χρήστης την επισημαίνει ως επιλυμένη, εφαρμόζεται ένα λιγότερο αυστηρό όριο (αποδοχή 95% της μηχανικής μετάφρασης ή 75% του περιεχομένου πηγής). Αυτό θα παρέχει έναν τρόπο αντιμετώπισης περιπτώσεων όπου η αυτόματη μετάφραση ήταν εξαιρετικά καλή, αλλά θα αποφευχθεί η πιθανή κατάχρηση της λειτουργίας (δηλαδή, να μην ακολουθείτε τυφλά την επιβεβαίωση ενός χρήστη).
Περιεχόμενα που δεν επηρεάζονται από τα όρια
Ορισμένο περιεχόμενο δεν αναμένεται να υποστεί σημαντική επεξεργασία και, επομένως, δεν λαμβάνεται υπόψη κατά την εφαρμογή των ορίων που περιγράφονται παραπάνω. Οι πολύ σύντομοι τίτλοι ενοτήτων, οι παραπομπές ή ο κατάλογος των αναφορών εξαιρούνται από τον έλεγχο. Διαφορετικά, οι χρήστες θα μπορούσαν να λάβουν παραπλανητικές προειδοποιήσεις σχετικά με την μετάφραση περιεχομένου που δεν πρέπει να είναι, όπως τίτλοι βιβλίων που εμφανίζονται σε αναφορές ή άλλα κατάλληλα ονόματα.
Limits on the mobile experience
For the mobile experience the initial set of limits follow a simpler approach. At the moment, only the overall percentage of unmodified machine translation for the whole translation is considered. On mobile, the whole translation consist of just one section of the article.
In particular, a warning is shown when the percentage of unmodified machine translation is over 85% for the whole section, and publishing is prevented when the percentage of unmodified machine translation is over 95%.
Feedback on how the limits system work on the mobile context would be very useful to determine how to evolve this initial approach.
Publication of fast unreviewed translations
Campaigns and contests can result in spikes of translations where some user unfamiliar with the community policies may focus on making many translations and not pay enough attention to review their contents. In order to emphasize quality over quantity, a mechanism has been defined to limit the publication of fast unreviewed translations.
After a user translates a large article, the next translation can only be started after some time has passed. The waiting period estimation considers 1 minute per paragraph up to 10 minutes. That is:
- For articles with 10 paragraphs or less, we want to make sure that users spent translating it at least N minutes (one minute per paragraph)
- For articles with more than 10 paragraphs we want to make sure that users spent translating it at least 10 minutes.
This has been applied on mobile initially since it is a space with less activity, and after measuring the impact we'll consider expanding it to desktop too.
Adjusting the limits
The limits described above provide a set of general mechanisms, but they may need adjustment depending on the particular needs of each wiki. Based on initial evaluation, the amount of modification needed to initial machine translation can range from 10% to 70%, depending on the language pair. On some wikis, the default limits may be too strict, generating unnecessary noise or preventing perfectly valid translations from being published. On other wikis, the limits may not be strict enough, allowing the publication of translations that have not been edited enough.
Adjusting the different thresholds allows each wiki to tailor the tool's limits according to its particular needs. Feedback from native speakers is essential in properly adjusting the limits imposed. If the current limits don't seem to work well based on your experience in creating or reviewing translations, please share your feedback, and we can explore how to better adjust them.
When providing feedback about adjusting the thresholds, we recommend that you first create several example translations (make sure to check the publishing options if your test is not intended to be published as regular content). When testing how the limits work for your language, it is useful to keep in mind the following:
- Check for both cases. Make sure to check how the limits work for both: translations where the content has not been edited enough, versus where it has been edited enough.
In this way, you can more easily find the right balance for the tool's limits feature. Checking only one type of problem can lead to moving the thresholds too far in the opposite direction.
- Check different content. Content in our wikis is highly diverse, and machine translation may work much better for some cases compared to others.
For example, content that is full of numeric data or technical names may require less editing by users than content with more descriptive text. Make sure to test by translating of a variety of different article types, of varying lengths, with disparate content.
- Prepare to iterate. Adjusting the thresholds is an iterative process.
It may require custom adjustments to the thresholds or that you improve your general approach. In any case, after each change, further testing may be needed to verify the improvements made.
Adjusting the limits in collaboration with editors has proven to be effective. For example, initial results show that the Indonesian community was able to significantly reduce the number of problematic translations they were receiving by restricting the publication of translations with more than 70% of unmodified machine translation content. Similar adjustments have been made for Telugu and Assamese language wikis. There is no automatic tool that is infallible, and these limits are not an exception.
The process of content review by the community is still essential, but these limits provide communities with a tool to reduce the number of translations they have to focus on, making the review process much more effective. Please share your feedback and we can explore how to better adjust them.
Tracking potentially unreviewed translations
A tracking category with the name "cx-unreviewed-translation-category" is provided for communities to easily find articles that have been published with some content exceeding the recommended limits.
You can find this category in the list of tracking categories on each wiki. Using it, you can track articles that passed the limits preventing publication, but that still had some paragraphs that were edited less than expected. For example the Indonesian Wikipedia's category includes articles that have less than 40% of machine translation overall, but which have some paragraphs with more than 80% of unmodified machine translation.
Measuring translation quality
Evaluating content quality automatically is not trivial. Deletion ratios provide a useful measure for estimating whether the content created was good enough for the community involved not to delete it. Based on the analysis of deletion ratios, articles that are created as translations are less likely to be deleted when compared with articles created from scratch. This suggests that it may not be practical to set the limits for participation through translating much higher than those set for other ways of article creation.
Find published translations
Content translation adds a contenttranslation edit tag to the published translations. This allows communities the ability to use Recent changes, and similar tools, to focus on pages created using the translation tool. In addition, data on published translations and the statistics for machine translation use are available for anyone to analyze.
Inspect a specific translation
The Translation debugger is a tool that allows the inspection of some metadata for a given translation, including the percentage of machine translation used for the whole document, and the translation service used for each paragraph. For specific types of content such as templates, the Content Translation Server API can be queried to check how templates will be transferred across languages.
Other limits based on user expertise
Some wikis have implemented other restrictions for translating based on the user rights as a way to reduce the creation of low-quality translations.
For example, English Wikipedia requires users to be extended confirmed, which means they need to make 500 edits on English Wikipedia before they are allowed to publish a translation as an article.
Newer editors can still publish translated articles in the User: or Draft: namespaces, and then move the article to the mainspace.
This restriction was created before the system of limits described in this page was available, and it is not the recommended approach to encourage the creation of good quality translations.
Before adding restrictions that do not take into account the content created, consider going through the process of adjusting the limits of unmodified content as described above. The limits can be made as strict as needed to prevent low-quality translations, while still allowing publication by editors making good translations.