"Не очень понятно, как рассуждать о равноценности человека с гипотетическим ИИ. Вся его фишка в том, что он гипотетический, мы пока не знаем, чем конкретно он будет отличаться от человека, и будет ли вообще."
Ну, конечно мы не знаем, и автор вопроса не ждёт, что кто-то знает. Поэтому автор вопроса и вводит в вопрос предпосылку "Если душа производное работы мозга, а тот лишь сложный био-компьютер" в рамках которой предполагается подумать, а не пролить свет абсолютной истины) Так вот, автор вопроса полагает, что в рамках такой предпосылки, если мозг не волшебная шкатулка, а машина подчиняющаяся законам физики и химии и она генерирует душу, то следуя тем же законам физики и химии можно душу сгенерировать искусственно, т.е. без миллионов лет эволюции, а сразу создав генератор, т.е. ИИ. И если такое возможно, а учитывая предпосылку, возможно, то чем принципиально, помимо "железа" , отличается душа железного робота от био-робота из мяса? ПРИНЦИПИАЛЬНО! А не тем что у мартышек волосы растут под мышками, а у ИИ нет)
"что ИИ в итоге будут чувствовать боль, а это делает их крайне неоднозначным объектом этики. " - Симулировать боль, когда мы уже симулировали (гипотетически конечно)) сознание и мышление - это вообще элементарно. Мозг человека же умеет это делать, а он всего лишь машина, так почему другая машина схожего уровня развития не сможет чувствовать боль и симулировать все прочие аспекты души? Возможно, она сможет даже больше, хрен его знает)