«Медиа создали фон того, что судья предвзято судил народную команду. Моя жизнь разделилась на две — до августа 2020 года и после. До этого было тихо, спокойно, несмотря на какие-то громкие ситуации в матчах. А потом стало громко, и я стал каким-то негативным персонажем. Чтобы люди во всеуслышание оценивали компетентность того или иного человека, надо как-то владеть предметом. Сложилось впечатление, что у нас в стране все могут играть в футбол, тренировать и судить, кроме футболистов, тренеров и судей», — приводит слова Казарцева «Спорт-Экспресс».
В августе 2020 года после ставшего скандальным матча Российской премьер-лиги (РПЛ) «Спартак» — «Сочи», который судил Казарцев, он прошёл проверку на полиграфе, а в сентябре был отстранён от работы в РПЛ до 2021 года.
Ранее он рассказал, изменилось ли отношение к нему после отстранения.