企业信用信息公示系统的行政处罚记录是不会被消除的，无论是否公示都会一直存在。工商行政管理部门对企业做出的行政处罚决定，均应通过国家企业信用信息公示系统及其他门户网站对社会公示，其中在国家企业信用信息公示系统公示的时长为5年，且是自公示之日起开始计算。

《企业信息公示暂行条例》 第六条
工商行政管理部门应当通过企业信用信息公示系统，公示其在履行职责过程中产生的下列企业信息：
（一）注册登记、备案信息；
（二）动产抵押登记信息；
（三）股权出质登记信息；
（四）行政处罚信息；
（五）其他依法应当公示的信息。
前款规定的企业信息应当自产生之日起20个工作日内予以公示。