行政处罚书下达后，只要符合法定起诉条件，随时可以起诉民事赔偿。

行政处罚与民事赔偿是不同性质的法律关系。行政处罚是行政机关对违反行政管理秩序的公民、法人或者其他组织给予的行政制裁；而民事赔偿是平等主体之间因侵权等行为产生的赔偿责任。

从法律规定来看，《中华人民共和国民事诉讼法》规定了起诉的条件，包括原告是与本案有直接利害关系的公民、法人和其他组织；有明确的被告；有具体的诉讼请求和事实、理由；属于人民法院受理民事诉讼的范围和受诉人民法院管辖。只要满足这些条件，就可以提起民事诉讼要求民事赔偿，并不受行政处罚书下达时间的限制。

在实践中，如果行政处罚所涉及的违法行为同时导致了他人的民事权益受损，受害人在知晓自身权利受到侵害后，就可以着手准备起诉事宜。例如，在一些治安处罚案件中，加害人的殴打行为既受到了公安机关的行政处罚，同时也给受害人造成了身体伤害和财产损失，受害人在拿到行政处罚书后，如果身体已经进行了治疗、损失能够确定，就可以立即向法院起诉要求加害人进行民事赔偿。

不过，需要注意诉讼时效的问题。一般情况下，向人民法院请求保护民事权利的诉讼时效期间为三年。法律另有规定的，依照其规定。诉讼时效期间自权利人知道或者应当知道权利受到损害以及义务人之日起计算。所以，虽然行政处罚书下达后随时可以起诉民事赔偿，但为了更好地维护自身权益，避免因诉讼时效问题导致权利丧失，建议在合理的时间内及时提起诉讼。

法律依据：

《中华人民共和国行政诉讼法》 第四十四条

对属于人民法院受案范围的行政案件，公民、法人或者其他组织可以先向行政机关申请复议，对复议决定不服的，再向人民法院提起诉讼；也可以直接向人民法院提起诉讼。

法律、法规规定应当先向行政机关申请复议，对复议决定不服再向人民法院提起诉讼的，依照法律、法规的规定。