Думаю, ошибкой это не будет, если мы не обращаемся к пожилому человеку напрямую ("Ну, привет, дед!", или "Как дела, бабуля?"), а говорим о них в третьем лице ("Смотри, как круто та бабушка делает грэб на хафпайпе", "Давай возьмем митболлы и шотландский IPA, как у того деда"). Сам факт наличия внуков при этом иррелевантен (кто является внуком Деда Пихто или Деда Мазая?)
Практика называть пожилых "бабушка" и "дедушка" существует в английском (имеет несколько снисходительно-ироничный характер: Grampa, Granny, и в испанском языках: abuelo, abuela -- ласковое).