Как увеличить видеопамять дискретной видеокарты (используется 512 из доступных 2048мб, AMD Radeon R5 M330)?

Никак! Но могу предположить почему используется не вся память.

1_Неисправность самих чипов памяти в следствии перегрева и отпая.

2_Запущенное приложение не использует ВСЮ память, из за ограничений наложенных в движке например.

Никак, но с вашей видеокартой всё в порядке. Дело в том, что она для ноутбуков, а там дискретная видеокарта работает со своими фокусами и включается только в ресурсоёмких задачах (по мнению системы разумеется). Единственное что вы можете сделать, так это поправить настройки в Catalyst'е на высокую производительность, но и это не всегда помогает.