Лучше всего взять готовые пакеты создания нейронных сетей. Есть много частных проектов, и три больших: TensorFlow от Google, CNTK от Microsoft, и разрабатываемый под финансированием Илона Маска OpenAI.
Библиотеки так или иначе пишутся на С++, но надо учесть что их пишут давно много умных людей. Так что ими разумнее просто пользоваться.
А которую из них вы посоветуете?
Python, а в нём библиотеки вроде Numpy и Pandas. Писать легко и приятно, лично меня в процессе не покидает чувство, сравнимое с быстрой поездкой по городу за рулем авто или спортбайка :)