“首违不罚”制度是行政相对人第一次发生违法行为且违法后果轻微并及时改正的，行政机关可以对其不予行政处罚的法律制度。实行“首违不罚”有利于优化税务执法方式、构建和谐的征纳关系、营造良好的税收营商环境。但当前“首违不罚”制度仍存在适用前提条件不明晰、“首违”未界定范围、“不罚”的种类单一、“首违不罚”的适用程序不合理等问题，可以从明确“首违不罚”危害后果轻微的范围、明确“首违”的界定范围、将“首违不罚”适用程序调整为简易程序并完善相应的配套措施等方面对“首违不罚”制度进行优化，确保这一优化执法方式的举措更好落地。