Ваша логика не учитывает нескольких важных моментов:
1) Кто окажется в числе несогласных? Часто это будут люди, обладающие критическими знаниями или компетенциями. Позволить им просто уехать - это ущерб для страны. Гораздо эффективнее, с точки зрения авторитарного режима, ограничить их перемещения, а, возможно, и другие права вплоть до посадки в какую-нибудь шаражку и заставить их использовать свои знания и опыт на благо страны из страха за свою жизнь и жизнь своих родных и близких. Мало того, так ещё и дешевле для государства с точки зрения авторитаризма и тоталитаризма.
2) Люди, если им предоставить свободу, обычно едут оттуда где им плохо туда, где им лучше, ну или, по меньшей мере, они так считают. Это очевидный показатель, не так ли? При авторитаризме и тоталитаризме желающих уехать из страны, как правило, значительно больше, чем желающих приехать из-за границы и жить в ней. Такая "реклама" не нужна ни одному режиму.
3) Тоталитарные режимы, как правило, держатся на пропаганде, основанной в т.ч. и на лжи. Причём ложь эта касается в т.ч. и сравнения жизни в стране и за границей. Так вот если позволить людям бесконтрольно пересекать эту границу, то ложь довольно быстро вскроется и ударит по пропаганде, а значит и по стабильности режима. Причём это случится даже если люди будут уезжать насовсем, т.е. не будут возвращаться обратно. У них все равно останутся в стране родственники, знакомые, бывшие коллеги и т.д. Контролировать всю эту коммуникацию довольно проблематично. Проще запретить выезд.
Наверное, есть и ещё факторы, но и так уже достаточно, чтобы понять, что свобода перемещения граждан вовсе не так безобидна с точки зрения авторитарного или тоталитарного режима, а, наоборот, несёт определённую потенциальную опасность.