Теперь Кью работает в режиме чтения

Мы сохранили весь контент, но добавить что-то новое уже нельзя

Какую архитектуру выбрать, если входные данные — последовательность последовательностей?

То, что мне приходит в голову:
  1. сделать padding до определенной длины на каждую строчку (заполнить скажем -1, потому что все значения >0);
  2. склеить все последовательности через -1, и уже на результат сделать padding;
  3. обучать с величиной батча = 1, последовательность из каждой строки пропускать через ту же рекуррентную сеть, результаты выхода склеить и подавать в другую рекуррентную сеть.
Может, есть идеи получше?
Входные данные похожи на это - 5 строчек, каждая может состоять из практически любого числа чисел (от 0 до 100000)
1.050
0.275
3.295 0.080
1.910
0.001
~~~~SEQ OF LEN 5 DELIM~~~~
0.034
0.001 0.005 0.167 3.940
0.002 0.014
0.490 3.385 0.000 7.196 0.007
<ПУСТАЯ ПОСЛЕДОВАТЕЛЬНОСТЬ> (Я.Кью удаляет пустые строки)
~~~~SEQ OF LEN 5 DELIM~~~~
0.506 0.323 0.062 0.034 0.429
0.050 0.176
1.376 0.220 0.007 0.369 0.076
1.551 0.000 0.453 0.032 1.156
3.607 0.153 1.607 0.002 0.005
~~~~SEQ OF LEN 5 DELIM~~~~
Целевая переменная - одно число (физическая величина, не номер класса)
10.0
4.0
11.0
ПрограммированиеData science+3
Эмиль Пилецкий
Data Science
  · 943
Магистр физических наук (по специальности теоретическая физика). В настоящее время...  · 12 дек 2021  · github.com/EmilPi
Даже не рассчитывал на столь подробный ответ. О некоторых вещах не подумал. Спасибо.
Так понял, что вы за вариант 3., только с бо'льшим размером батча.
100 000 это конечно редкие случаи. В основном длина одной последовательности 10-20. Поэтому в случае 1 надо будет обрезать какую-то часть информации.
Про то, что в варианте 2 можно склеивать через разные значения, не подумал, интересно, хотя и не факт, что будет полезно (для борьбы с переобучением разве).
Стыдно сказать, пока ни разу не пробовал трансформер.
Если вам интересно, что за domain, то у меня в профиле ссылка на github, а там есть проект, который начинается на "w". Я ищу, с кем бы его поразвивать :)
Лучший
Экс-преподаватель msu.ai, специалист образовательного центра Института ИИ при...  · 12 дек 2021
Здравствуйте, Эмиль. К сожалению, предобработка данных и создание модели в большей части случаев требуют применения domain knowledge, однако Вы привели не достаточно информации, чтобы давать некие осмысленные советы, подходящие конкретно для Вашей задачи. В связи с этим, поделюсь своими рассуждениями - может, они будут полезны Вам. Первый Ваш вариант может работать... Читать далее
Даже не рассчитывал на столь подробный ответ. О некоторых вещах не подумал. Спасибо. Так понял, что вы за вариант... Читать дальше