18.03.2010

Losowość algorytmiczna parametru a optymalność wnioskowania bayesowskiego

Algorytmiczna teoria informacji inspiruje atrakcyjną interpretację wnioskowania bayesowskiego. Mianowicie, jeżeli wierzymy, że parametr zadany jest przez pewien rozkład a priori, może to oznaczać, że zakładamy, że nieznany ustalony parametr jest algorytmicznie losowy względem rozkładu a priori. W naszej pracy dosiedliśmy słuszności tej interpretacji. Uzupełniając warunek dostateczny autorstwa Vovka i V'yugina, pokazaliśmy, ze kompresja bayesowska stanowi najlepsza wyliczalną kompresję danych typowych dla ustalonego parametru wtedy i tylko wtedy, gdy parametr jest losowy w sensie Martina-Loefa względem rozkładu a priori. Rezultat ten został wykazany w przypadku modeli statystycznych o efektywnie identyfikowalnym parametrze. Modele te cechuje własność, ze dla zadanej dyskretyzacji parametru można obliczyć, jak wiele danych jest potrzebnych, aby nauczyć się zdyskretyzowanej wartości parametru z niewielka niepewnością. Rodziny wykładniczej i pewne modele nieparametryczne zaliczają się do takichże modeli statystycznych.