责任认定书不一定需要双方到场。根据《道路交通安全法实施条例》第九十一条的规定，交通事故的责任认定由公安机关交通管理部门负责。他们应当根据交通事故现场勘验、检查、调查情况和有关的检验、鉴定结论作出认定书。而当事人是否到场，对责任认定书没有影响。
但是，如果当事人对道路交通事故认定有异议，可以自道路交通事故认定书送达之日起三日内，向上一级公安机关交通管理部门提出书面复核申请。复核申请人必须携带自己的身份证、驾驶证、机动车行驶证以及交通事故认定书，到上一级公安机关交通管理部门办理复核手续。
以上信息仅供参考，如有需要，建议咨询专业律师。
