Конечно надо ответить, почему же нет? От ответа тут многое зависит, потому что занятия разные бывают и надо обозначить наверно чем именно ты занят, для прояснения ситуации.
Не вижу причин бросать трубку, это какой-то детский сад. Если вы звонили человеку даже просто поболтать, без какой-то важной цели, лучше так и сказать, чем просто трубку бросать.