Изначально это - именно "физическое" ограничение.
Объём памяти, к которому процессор может обращаться напрямую, определяется количеством битов(выводов) встроенного контроллера/контроллеров памяти и умением или неумением их работать с "продвинутой" памятью.
Для увеличения "ширины" шины необходимо проектировать новую конфигурацию - увеличивать физическое количество выводов.
Каждое новое поколение процессоров имеет всё большее и большее число контактных площадок - у Intel это - 775, 1150, 1200, 1700 для десктопов; 771, 1366, 1567, 2011, 3647 - для серверных вариантов.
Десктопные процессоры строятся по упрощеной схеме - в отличии от серверных, в них отсутствует дубляж шин, возможность связи нескольких "камней" в одну систему и много чего ещё.
И, обычно, имеется вдвое меньшее число контроллеров памяти. Кроме того, контроллеры памяти в настольных вариантах не умеют работать с буферизованной оперативной памятью. На планках такой памяти установлена дополнительная микросхема, которая помогает серверному процессору управлять бОльшими объемами памяти - масштабирует объемы ОЗУ в несколько раз.