Открыть на редактирование такой огромный файл вряд ли сможете. Notepad++ это текстовый редактор и открывает он файл именно на редактирование и и пытается загрузить его целиком.
Такой огромный файл можно открыть только на просмотр.
Есть специальные программы-пейджеры, которые загружают в себя только часть огромного файла на просмотр. При просмотре содержимого они подгружают следующую часть и так далее.
В Linux используется less.
В Windows попробуйте Universal Viewer.
очевидно нужно использовать редактор, который умеет открывать и листать файлы без помещения их в оперативку полностью.
обычно такими способностями обладают Hex-редакторы (hiew/biew/beye/he). так же, если не изменяет память, такое умел emacs и редактор сорца из fasm (ассемблер)
для начала открыть программой WinHex и посмотреть на начало файла, чтоб определиться с действительным форматом, а дальше уже менять расширение(если это зип архив к примеру то в самом начале файла будут буквы РК, Если 7z архив, так и будет 7z в начале файла, rar, и т.д. и т.п.) там и текст видно будет, если это действительно текст