- 紹介論文：
- W4A 2010：Web Not For All: A Large Scale Study of Web Accessibility, Rui Lopes; Daniel Gomes; Luís Carriço．（論文PDF）
概要
ポルトガルのウェブアーカイブ組織（Portuguese Web Archive）から提供された3000万ページを自動評価した結果．以下のことがわかった．
- ウェブページのアクセシビリティ度には大きなばらつきがある．
- アクセシビリティ度が高いウェブページはほとんどない．
- ページの複雑さ（ページ内のHTML要素の数）とアクセシビリティ度には相関がある．
- 「要確認（WARN）」評価結果の解釈によってアクセシビリティ結果が変る．
Introduction
Background
The Portuguese Web Archive Initiative
- Portuguese Web Archive：
- 国内の研究組織に基盤を提供する非営利組織
- .pt ドメインのコンテンツを定期的にクロールしてアーカイブ．
- アーカイブしたデータの研究（分析）にも提供
- 研究面以外に，ウェブコンテンツの品質をモニターすることにも関心がある．
Web Accessibility Evaluation
既存のアクセシビリティ計量（metric）の長所と短所：[4] A. P. Freire, R. P. M. Fortes, M. A. S. Turine, and D. M. B. Paiva. An evaluation of web accessibility metrics based on their attributes. In SIGDOC ’08: Proceedings of the 26th annual ACM international conference on Design of communication, pages 73–80, New York, NY, USA, 2008. ACM.
これらのmetricsは，ガイドラインのチェックポイントを満たしているかどうか，専門家評価，チェックツールによる自動評価，のいずれかの結果だけを用いている．
専門家評価には，大量のページを評価できない欠点があり，人によるバイアスがありうるという先行研究[6]もある．
[6] D. Sloan, A. Heath, F. Hamilton, B. Kelly, H. Petrie,and L. Phipps. Contextual web accessibility - maximizing the benefit of accessibility guidelines. In W4A ’06: Proceedings of the 2006 international cross-disciplinary workshop on Web accessibility (W4A), pages 121–131, New York, NY, USA, 2006. ACM.
チェックツールによる評価は大量のページを処理できるか，ツールでは評価できないチェックポイントがあるし，専門家評価ほど詳しくわからない．
この欠点にも関わらず，ツールで評価できないアクセシビリティ問題の頻度はツールで自動評価できる問題の頻度と比例するという研究もある [9]．
[9] M. Vigo, M. Arrue, G. Brajnik, R. Lomuscio, and J. Abascal. Quantitative metrics for measuring web accessibility. In W4A ’07: Proceedings of the 2007 international cross-disciplinary conference on Web accessibility (W4A), pages 99–107, New York, NY, USA, 2007. ACM.
それゆえ，自動評価は，ウェブアクセシビリティを大規模に分析する際に有効な手法となる可能性がある．しかし，これまでそのような大規模な分析は行われていない．サンプリングによる分析は行われてきたが，サンプリング時にバイアスがかかっている可能性を否定できない．[2]
[2] G. Brajnik, A. Mulas, and C. Pitton. Effects of sampling methods on web accessibility evaluations. In Assets ’07: Proceedings of the 9th international ACM SIGACCESS conference on Computers and accessibility, pages 59–66, New York, NY, USA, 2007. ACM.
Methodology
著者が抱いた疑問：ウェブアクセシビリティの分布はどうなっているのか？
- 手順1：[5]に示す方法でウェブコンテンツを収集．
- 手順2：収集したコンテンツ毎にアクセシビリティを評価．
評価：UWEM同様に，WCAG 1.0のP1とP2から39のチェックポイントを採用．
評価結果は3分類
- PASS（合格）：そのコンテンツに適用できるチェックポイントで，チェックポイントを満たしている
- FAIL（不合格）：そのコンテンツに適用できるチェックポイントで，チェックポイントを満たしていない
- WARN（要確認）：そのコンテンツに適用できるチェックポイントだが，チェックポイントを満たしているかどうか判断できない
Failure rate metricsとして，[7]に基づいた3方法を定義．（rateが1のとき，完璧にアクセシブル）
- Conservative rate：WARNはFAILと考える．PASSだけの割合を求めた数字．pass/applicable
- Optimistic rate：WARNはPASSと考えて，両方の合計をPASSと思った割合．(pass+warn)/applicable
- Strict rate：WARNのケースを分母から引いて，PASSとの割合を求める．pass/(applicable-warn)
Results
48,718,404コンテンツ（画像，PDFなど）のうち，28,135,102ウェブページを使用．40,831,728,499のHTML要素を評価．（ページあたりの平均は1451 HTML要素）
このうち，1,589,702,401要素が適合（ページあたり56要素．全体の3.89%），2,918,802,078要素は不適合（ページあたり103要素以上．7.15%），36,323,224,020要素がWARNに該当（ページあたり1291要素．全体の89%）．
Distribution of Rates
上記3種類のrate毎に，どのくらいのウェブページがあるかのlinear（rate）-log（頻度）分布図を作成．（図1から図3）
図1（Conservative）：rateが1になったページはない．すべてのページのrateは0.5以下．0.06程度が最も多く，0.2に向かってexponentialに低下．
図2（Optimistic）：rate 0.9が平均．分布は0.5から立ち上がって0.9強が最も多い．
図3（Strict）：rateが0.1弱から0.9強まで，（rateが高くなるにつれページ数は減るが）ほぼ一様に分布．rateが1に近づくにつれ，ページ数は急速に0になっている．
Rates and Page Complexity
ウェブページに含まれるHTML要素の数を複雑度と定義．複雑度とrateの関係を求めた．
図4（Conservative）：rate×複雑度 が0.1になる線より上側に一様分布（この線は，平均して要素10個中1個しかPASSしないことを示す線．複雑でないのにアクセシブルでないページは存在しないが，複雑でもアクセシビリティが良いページは存在する．）．ただし，rateが0.2以上は数が急速に減るし，複雑度が2万以上のページも急速に減る．
図5（Optimistic）：図4にあった境界（積が0.1の線）は存在しない．しかし，rateが0.7弱以上の場合，複雑度に関係なくページが存在しているように見える．rateが1から0.6へと小さくなるにつれ，複雑度の存在範囲が狭く（複雑度が小さいページと高いページの両方が存在しなくなる）なっているように見える．rateが1の場合，複雑度に関係なくページが存在しているようにも見える．
図6（Strict）：図4と異なり，積が1の線より上に一様分布．（これは，ページ中の要素1個がアクセシブルでない線に相当するから，この線より下にデータが存在しないのは当然．） つまり，複雑度とアクセシビリティは関係がない．
Discussion
- 図3のStict rateが一様分布していることから，アクセシブルなページからアクセシブルでないページまでいろいろなページが（ランダムに）存在していることがわかる．
- しかし，WARNをポジティブに考えると（図2），アクセシブルなページが多くなる．しかし，Virgo[9]の小規模な研究が示すように，エラーの割合とWARNの数には密接な関係がある．
- 複雑でないのにアクセシブルでないページは存在しない．HTML要素数が少ないページはアクセシブルにしやすいと考えられる．
- 渡辺の疑問：でも，図6などは，複雑度とアクセシビリティに相関がない一様分布を示しているのではないのか？