В 2017 году исследователи Google опубликовали статью «Attention is All You Need», которая без лишнего шума разделила историю ИИ на «до» и «после». Именно она заложила основу для всех современных генеративных нейросетей — от ChatGPT до Midjourney.

Ключевым открытием стала архитектура трансформера, основанная на механизме внимания. Самое удивительное, что в основе этой революции лежит простейшая операция линейной алгебры — скалярное произведение векторов, то есть обычное перемножение чисел со сложением.

До этого нейросети упирались в ограничения архитектур, не способных эффективно обрабатывать длинные последовательности данных. Трансформеры решили эту проблему, позволив модели «внимательно» следить за всеми элементами входных данных одновременно.

Теперь почти весь генеративный ИИ работает на трансформерах, что сделало эту архитектуру стандартом де-факто. Индустрия продолжает развиваться, но отправной точкой остаётся та самая простая математическая операция.