Help:New filters for edit review/編集の質と意図の絞込み
![]() |
注意: このページを編集すると、編集内容が CC0 のもとで公開されることに同意したと見なされます。詳細はパブリック・ドメインのヘルプ ページを参照してください。 | ![]() |
編集の査読改善 (ERI: Edit Review Improvements) |
---|
機能 |
説明文書 |
技術的事項 |
新しい編集査読の絞り込みに増えた「貢献の品質」と「利用者の意図」の2種類のフィルターは、既存のものと機能が異なります。 これらのグループのフィルターは、それぞれ編集に問題が含まれる可能性や、編集者が善意で行動しているかどうかについての確率的な予測を提供します。
さらに、2024年に有効化される言語に依存しない差し戻しリスク モデルは、編集がリバート (差し戻し) される可能性についての予測を提供します。
これらの独自のツールがどのように機能するかを少し知っておくことで、より効果的に利用できるようになります。
これらのフィルターを使えるウィキは限定されます。
基本は機械学習
品質と意図予測フィルターを演算するORESは機械学習プログラムで、人間がこれまでに判定した編集の膨大な蓄積に基づいて訓練されました。機械学習という処理能力の高い技術は、人間の代理で機械が特定の判断を再現します。
品質と意図フィルターは「破壊的」と「善意」を判定する ORES モデルをサポートするウィキ限定で利用できます。ORES 「破壊」モデルは編集の品質、「善意」モデルは同じく意図が対象です。
ORES を有効にするには、該当するウィキにおける編集をボランティアが判定しなければなりません。そのプロセスとユーザーのウィキで取り組む方法を別のページで説明しています。
The language-agnostic revert risk model supports all language Wikipedias and does not require manual training by volunteers.
ツールの選び方
「品質」、「意図」、「差し戻しリスク」のフィルターを見ると、それらが他のフィルターとは異なる点に気付くかもしれません。他のグループのフィルターとは異なり、さまざまなオプションが異なる編集の特性を対象としているわけではありません。代わりに、それらの多くは同じ特性を対象としていますが、異なる精度レベルを提供しています。
Why would anyone choose to use a tool that's less accurate? Because such accuracy can come at a cost.
予測の正解率を上げるには (〈精度〉優先)
The more “accurate” filters on the menu return a higher percentage of correct versus incorrect predictions and, consequently, fewer false positives. (In the lingo of pattern recognition, these filters have a higher “precision”.) They achieve this accuracy by being narrower, stricter. When searching, they set a higher bar for probability. The downside of this is that they return a smaller percentage of their target.
- Example: The 問題がある可能性が高い filter is the most accurate of the Quality filters. Performance varies from wiki to wiki, but on English Wikipedia its predictions are right more than 90% of the time. The tradeoff is that this filter finds only about 10% of all the problem edits in a given set —because it passes over problems that are harder to detect. The problems this filter finds will often include obvious vandalism.
ターゲットの数を増やすには (〈ヒット率〉優先)
If your priority is finding all or most of your target, then you’ll want a broader, less accurate filter. These find more of what they’re looking for by setting the bar for probability lower. The tradeoff here is that they return more false positives. (In technical parlance, these filters have higher “recall”, defined as the percentage of the stuff you’re looking for that your query actually finds.)
- Example: The 問題があるかもしれない filter is the broadest Quality filter. Performance varies on different wikis, but on English Wikipedia it catches about 82% of problem edits. On the downside, this filter is right only about 15% of the time.
- If 15% doesn’t sound very helpful, consider that problem edits actually occur at a rate of fewer than 5 in 100—or 5%. So 15% is a 3x boost over random. And of course, patrollers don’t sample randomly; they’re skilled at using various tools and clues to increase their hit rates. Combined with those techniques, 問題があるかもしれない provides a significant edge.
(As noted above, ORES performs differently on different wikis, which means that some are less subject to the tradeoffs just discussed than others. On Polish Wikipedia, for example, the 問題がある可能性 filter captures 91% of problem edits, compared to 34% with the corresponding filter on English Wikipedia. Because of this, Polish Wikipedia does not need—or have—a broader 問題があるかもしれない filter.)
精度もヒット率も求めるには (強調表示)
The filtering system is designed to let users get around the tradeoffs described above. You can do this by filtering broadly while Highlighting the information that matters most.
To use this strategy, it’s helpful to understand that the more accurate filters, like 問題がある可能性が高い, return results that are a subset of the less accurate filters, such as 問題があるかもしれない. In other words, all “Very likely” results are also included in the broader 問題があるかもしれない. (The diagram above illustrates this concept.)
- 例: 悪意の拾い出しを最大にして、最悪/深刻度大を強調表示:
- フィルターを起動して初期設定から、
- 問題があるかもしれない をチェックして品質の幅を最大に。
- このとき—フィルターボックスをチェックしないまま— 問題がある可能性 を押して黄色に指定し、問題がある可能性が高い は赤に指定。
- 品質の幅を最大に設定したため、拾い出す悪意の編集は多くなります (「ヒット率」優先)。しかし、視覚的に黄色、赤、オレンジ (= 赤と黄色を混ぜた色) を視覚的にスキャンすることで、いちばん深刻な問題が見つかりやすく、先に取りかかれるはずです。 (ヘルプは「フィルターを使わず強調表示する」を参照。)
良い編集の探し方 (編集者を褒めよう)
善意の行いは自然と目に入ってきますよね! 良い編集を探すのも簡単なのです。
The 善意である可能性が高い filter and the 良好である可能性が高い (Quality) filter give you new ways to find and encourage users who are working to improve the wikis. For example, you might use the 良好である可能性が高い filter in combination with the 新規利用者 filter to thank new users for their good work.
- サンプル: 初学者の善意に感謝を伝える
- ゴミ箱アイコンを押して検索条件をクリア。ページの編集と人間(ボットではない)にチェックを入れる。
- 良好である可能性が高いにチェックを入れ、品質を優先。
- 新規利用者と初学者にチェック、ユーザーの登録と経験を絞り込み (これで登録利用者の編集に限定)。
- 新規利用者の横のマーカーアイコンを押してグリーンを選択。
- 結果は新規利用者 (登録後4日未満で編集実績10件未満) と初学者 (活動歴30日未満、編集実績500件未満) に絞り込まれました。後者のみグリーンで示されて見分けがつきます。
Good is everywhere!
The “good” filters mentioned above are both accurate and broad, meaning they aren’t subject to the tradeoffs described in the previous section (they combine high “precision” with high “recall”). These filters are correct about 99% of the time and find well over 90% of their targets. How can they do that?
The happy answer is that the “good” filters perform so well because good is more common than bad. That is, good edits and good faith are much, much more plentiful than their opposites—and therefore easier to find. It may surprise some patrollers to hear this, but on English Wikipedia, for example, one out of every 20 edits has problems, and only about half those problematic edits are intentional vandalism.
フィルターの一覧
On wikis where Quality and Intent Filters are deployed, some filters may be missing due to a better quality of predictions. The better ORES performs on a wiki, the fewer filter levels are needed.
投稿品質の推定
- 良好である可能性が高い
- 高い精度で、ほとんどすべての問題のない編集を見つけます。
- 問題があるかもしれない
- 不備または害がある編集のほとんどを見つけますが、精度は低くなります。
- 問題がある可能性
- 高精度で、ほとんどの問題のある編集を見つけます。
- 中程度の精度で、問題のある編集の中程度の分量を見つけます。
- 問題がある可能性が高い
- 非常に高い精度で、明らかな欠陥や害がある編集を見つけます。
利用者の意図の推定
- 善意である可能性が高い
- 高い精度で、ほとんどすべての善意による編集を見つけます。
- 悪意であるかもしれない
- ほとんどの悪意のある編集を見つけますが、精度は低くなります。
- 悪意である可能性
- 中程度の精度で、悪意のある編集の中程度の分量を見つけます。
Revert risk
Filter levels TBD. Uses the Language-agnostic revert risk model.
注記
- ↑ These figures come from research that went into training the “damaging” and “good faith” ORES models on English Wikipedia. That’s to say, when volunteers scored a large, randomly drawn set of test edits, this is what they found.