https://mathtod.online/@HirokiMori/468938
面倒なのでディリクレ分布の話はせずにベータ分布の話。
$0 < x < 1$ におけるベータ分布$$
p(x)\propto x^{a-1}(1-x)^{b-1}
$$が proper (確率の総和を1に正規化できる) になるための必要十分条件は $a$ も $b$ も正になることです。
0以下だと(0であっても) improper になってしまい、確率分布だとは言えなくなってしまいます。
improperな分布も役に立つことはあるのでしょうが、improperな度合いが大きくなるとそれだけ確率分布の世界から大きく離れるので、その辺は「自己責任で」ということなのだと思います。
$x^{a-1}$ とした方が $x^a$ とするより便利な理由は、$$
x^{a-1}\,dx = x^a\,\frac{dx}x
$$の $dx/x$ の部分がスケーリングについて不変な測度になっているからです。そのおかげでたくさんの計算が楽にできる。