Самый радикальный (и заодно, самый легкий в реализации для начинающих) вариант - разместить этот браузер в виртуальной машине VirtualBox или QEMU, а сам загрузочный образ поместить на зашифрованный раздел файловой системы, а ключ для расшифровки сделать файловым (или даже токенным), и носить на надежной маленькой личной флешке. Для реализации такой защиты идеально подойдет операционная система Tails (заодно и анонимный серфинг по TOR получите).
Если к общему компьютеру есть физический доступ, можно носить на одной флешке целую операционную систему, и пользоваться ей без ограничений. Для этого стоит установить на накопитель большого (64 ГБ) объема один из легких дистрибутивов Linux (PuppyRus, ElementaryOS, Debian, Mint Debian-based XFCE), и перенести туда пользовательские настройки. Инструкций по тому, как это сделать, в Сети лежит масса. Гугл в помощь.
Вариант для Windows-параноиков, не желающих менять ОС: иметь несколько установок браузера в разные каталоги (не Program Files и Application Data), и настраивать к ним доступ через административные политики Windows, или AppLocker. Одна из реализаций такого поведения ОС описана, например, здесь. Но этот способ нельзя рекомендовать людям, по-настоящему обеспокоенным конфиденциальностью серфинга - Windows печально известна количеством "дыр" в подсистеме ограничения доступа. Более того, поскольку стандартная поставка ОС изначально предполагает развертывание на единственном компьютере, являющемся единственным рабочим местом единственного пользователя, одно-единственное неправильно установленное правило может заставить ваш браузер запуститься из-под любой учетной записи с вашими личными настройками. Впрочем, защита домашнего Windows-компьютера от неквалифицированных членов семьи вполне может быть реализована и таким способом.
Также как вариант установить специальный плагин, запрашивающий пароль при запуске браузера.
P.S. сам в большинстве случаев использую метод, описанный в предыдущем ответе: portable версию браузера в зашифрованном файле-контейнере. Этот файл также удобно хранить на флешке в комплекте с portable версией программы для его дешифровки.