Пришла идейка как можно оптимизировать, и в принципе получилось. Это не предел, и я вижу несколько нюансов которые напрягают. Стремление к очередной оптимизации есть. Но пока как есть.
Дискорд: https://discord.gg/EUG32urehC
Исходный код: https://github.com/SuperAnt30/VoxelEngine
p.s. Я не учу как надо делать. Я просто делюсь своими знаниями.