P値が小さいことの意味をどう説明したらよいだろうか。P値そのものについては2016年のASA声明で次のように説明されている。しかし少々テクニカルでとっつきにくいかもしれない。
おおざっぱにいうと、P値とは特定の統計モデルのもとで、データの統計的要約（たとえば、2グループ比較での標本平均の差）が観察された値と等しいか、それよりも極端な値をとる確率である。
ならばP値そのものの説明は省略してしまうのはどうか。P値が小さいことが何を含意するかについてなら、例えば以下の講義動画に易しい説明がある。
動画中のスライドの説明は簡潔だ。
P値が小さければ「統計モデルの仮定のどれかが誤っている」ということなんです
ASA声明の訳者でもある佐藤教授による上記の説明は、声明の原則1に則っている。
P値が小さいほど、データと帰無仮説の統計的な矛盾の程度は大きくなる。ただし、P値の計算の背後にある仮定がすべて正しければ、であるが。この矛盾の程度は帰無仮説を疑う、あるいは帰無仮説に反対する証拠としても解釈できるし、P値の計算の背後にある仮定を疑う、あるいは反対する証拠としても解釈できる。
統計的有意性とP値に関するASA声明 pp.1-2
ただ最近手にした本をざっと探しても「背後にある仮定」への言及は見当たらなかった。そのあたりを満たすのは仮説検定の前提であり殊更に言及しない、という立場なのだろうか。
\(p\)値が小さいことは、帰無仮説が正しい世界では、現実のデータは起きにくいことを意味するので、\(p\)値は帰無仮説と現実のデータの乖離度合いを評価していることになります。
阿部真人, 『データ分析に必須の知識・考え方 統計学入門』(Kindle版), ソシム, 2021, p.112
有意差(\(P<0.05\))がある場合は「差がある可能性が十分に高い」と判断してよいです。「有意差あり(\(P<0.05\))」は、その差が真実の差であることを示唆する、1つの証拠となります。もちろん100%確実な証明ではなく、私たちは「もしかしたら第1種の過誤を犯しているかもしれない」という可能性を、常に頭の隅に置いておく必要があります。しかし、仮に帰無仮説\(H_0\)「比べるもの同士が等しい」が正しくても、第1種の過誤を犯す確率は5%未満です。ですから、有意差(\(P<0.05\))がある以上「差があることを示唆する1つの強い証拠を得た」という立場に立つことができます。
中原治, 『基礎から学ぶ統計学』(Kindle版), 羊土社, 2022, pp.83-84