Сам пару лет назад задался таким же вопросом и начал читать соответствующую литературу, будучи при этом полным нулем в данной области. Вот что могу сказать по прошествии этого времени.
1) Не думай что получится прочитать 1-2 книги и ты сразу начнешь разбираться. Если ты захочешь более-менее приличного уровня понимания, читать придется много, очень много. Не 1 и не 2 и не 10, а гораздо больше.
Это связано с тем что компьютер это комплексная система, те намешано кучу всего. как на уровне концептов (электротехника, логика и тп) так и на уровне компонентов. Всего этого много и разбирать все это можно очень подробно. Короче проблема не столько в сложности как таковой, а скорее в объемах информации. А, ну и без английского, ловить, по большому счету, нечего.
2) Собственно касательно литературы
Начальный уровень, эти книги пытаются объяснить обычным людям простым языком как работают ЭВМ. Да, они упрощены, но это не значит что они плохи и их стоит избегать.
a) Ч.Петцольд, Код. Тайный язык информатики - классика, с нее начинали многие, также рекомендую начать с неё.
b) But How Do It Know? - The Basic Principles of Computers for Everyone by J Clark Scott - неплохо дополняет первую.
c) в дополнение можно попробовать прошерстить учебники по информатике (не гнушаясь старыми разлива времен СССР)
Далее идет "нормальная" литература, её много. она рассчитана на разный уровень, вот небольшой список из того качественного что вспомнилось.
a) Цифровая схемотехника и архитектура компьютера, Дэвид М. Харрис и Сара Л. Харрис - для начала, опять же, топ вариант. Хорошо расписано устройство элементарного процессора.
b) Таненбаум Э. Архитектура компьютера - тоже, своего рода, классика.
c) Хамахер Вранешич Заки, Организация ЭВМ - чуть больше схемотехники.
d) Computer Organization and Embedded Systems by Carl Hamacher Zvonko Vranesic - вкупе с вышеназванной от тех же авторов даст / дополнит опять же базовое понимание работы процессоров.
e) Floyd T. Digital Fundamentals - крутая книга с миллионом качественных иллюстраций.
f) Гук М.Ю. Аппаратные средства IBM PC - фундаментальный труд, критически рекомендуемый к прочтению, но явно не для начального уровня. Плюс был ряд книг от того же автора касательно отдельных шин / интерфейсов (SATA, PCI) и по ряду процессоров Intel.
g) Организация ЭВМ и периферия с демонстрацией имитационных моделей + Периферийные устройства. Интерфейсы, схемотехника, программирование Авдеев.В. - сурово, но по делу.
Схемотехника.
a) Бойт К. Цифровая электроника
b) Fundamentals of Digital Logic with Verilog Design by Stephen Brown and Zvonko Vranesic - вроде бы и про простые процессоры что-то было.
c) Ульрих Титце, Кристоф Шенк. Полупроводниковая схемотехника - начиная с главы "Основы цифровой техники".
d) Цифровая схемотехника, Е. П Угрюмов