По определению из Википедии:
Векторное произведение двух векторов — вектор, перпендикулярный обоим исходным векторам, норма которого равна площади параллелограмма, образованного исходными векторами, а выбор из двух направлений определяется так, чтобы ориентация пространства и тройки векторов (по порядку cтоящих в произведении и получившегося вектора) совпадали.
А дальше прикреплю фото:
Решая систему в мат. пакете wolfram mathematica (ибо кто-то уже один раз вручную посчитал эти скалярные произведения), получим
То есть
Как и заказывали, получили два вектора, перпендикулярных векторам a, b. Для того, чтобы сохранить ориентацию пространства, выбираем первый вектор c1.
Нашли векторное произведение в координатной форме
P. S. Для непосвященных, норма вектора - ||⋅|| - длинна вектора (в евклидовом пространстве - корень из суммы квадратов координат)