Действительно, граниты, являющиеся минералами, содержат уран, калий и торий, имеющие природные радиоактивные изотопы (в виде примесей, а не отдельных минералов). Этим и объясняется такой фон.
Например, существует ненулевая вероятность того, что в любой момент вы можете пройти сквозь стену. Она очень, очень, ОЧЕНЬ маленькая, но ненулевая.