• Для физики можете задать настройки Prebake Collision Meshes и Reuse Collision Callbacks.
• Лучше использовать примитивные коллайдеры.
• Двигать Rigidbody нужно с помощью MovePosition и AddForce.
• Двигать нужно в FixedUpdate, а не Update.
• Настройте Timestep'ы, чтобы достичь нужного фпс.
• Используйте дебаг визуализатор Window > Analysis > Physics Debugger.
• Разбивайте канвасы, чтобы уменьшить перерисовки корневого канваса.
• Невидимые UI элементы лучше выключать.
• Удаляйте GraphicRaycasters там, где ну нужен.
• Уберите GraphicRaycaster с корневого элемента и вешайте на дочерних.
• Отключайте Raycast Target по возможности (на картинках, например).
• Layout Groups лучше не использовать. А если уж используете, то по возможности отключайте после расчётов.
• Старайтесь не использовать большие List view и Grid view.
• Используйте Device Simulator.
• Для ориги аудио используйте WAV, сжатие выбирайте MP3 или Vorbis.
• Для аудио выбирайте Load Type в зависимости от размера.
• Выгружайте или отключайте неиспользуемые AudioSources.

Все эти советы лишь часть из книги по оптимизации. Скачать можно по ссылке из блога Unity.