Держите полезный промпт:

<пихаете ваш training loop или другой код>
Find all bugs and possible unexpected behavior
Вряд ли найдёт прямо сложные ошибки, но глупые ошибки отлавливает отлично (см выше). Только что сэкономил себе только кучу нервов и немного времени (вот как раз чтобы этот пост написать).
И самое полезное: если GPT4 вам врёт вы это сразу же замечаете и просто следуете дальше по списку