Смотря что называть взломом. Если "взлом" в обычном смысле, то результатом обучения нейросети как правило бывает набор весов иногда очень большой, и простые математические операции. Т.е. тут по сути ломать нечего, уязвимым местом будет скорее инфраструктура, обеспечивающая работу нейросети.
Но есть ещё другой тип воздействия - так называемые adversarial attack, когда на вход нейросети подаются данные, чуть-чуть изменённые и неотличимые невооружённым взглядом, но заставляющие нейросеть принимать ошибочные решения. И тут защита может заключаться в защите данных, на которых вы обучали нейросеть, их обогащении примерами изображений с разными подобными вмешательствами и т.д. В целом как и нейросети область довольно молодая и развивающаяся, но очень важная, поскольку вмешательство в работу автономно принимающих решения нейросеткой может нести катастрофические последствия.