Со всем. Законами РФ, моральными, этическими и даже эстетическими нормами не запрещено сочетать серые толстовки с любыми другими элементами одежды.
В расстегнутом виде с обтягивающими джинсами(видел только с черными, но вероятно подойдут любые) и такой же майкой. Мне кажется, это выглядит весьма привлекательно и минималистично.
Дополню, разумеется без белья.
Мне кажется, хорошо будет смотреться с юбками тоже. Если макси, то наверх можно надеть кроптоп нейтрального цвета(белый), если юбка короткая, то вместо кропа можно легкую майку. Если все остальные детали одежды будут нейтральных цветов(серый/белый/бежевый/черный), то как яркий акцент с серым хорошо сочетается желтый.