С недорогим, конечно, будет трудно, так как в Швеции все цены сами по себе высокие.
А что купить на память - тут по классике жанра. Магниты, кружки, брелки, футболки с местными достопримечательностями, шведским флагом и прочими отличительными знаками. Так как Швеция страна скандинавская, можно найти что-нибудь, что ассоциируется с викингами (например, рогатые шлемы с косичками).
Еще в сувенирных магазинах продается много связанного с Муми-Троллями. Полотенца, кружки, фартуки, шкатулки - всё, что душе угодно :)
Когда была в Стокгольме, купила там магнит, кружку с Муми-троллями, чай и пару открыток. Вышло всё это где-то в 360 крон, т.е. примерно 2 800 рублей.