只要已经构成诈骗罪就必须要承担刑事责任，退还诈骗所得赃物本身就是犯罪嫌疑人应尽义务。根据《中华人民共和国刑法》第二百六十六条的规定，诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并罚金或者没收财产。本法另有规定的，依照规定。根据《最高人民法院、最高人民检察院关于办理诈骗刑事案件具体应用法律若干问题的解释》诈骗公私财物价值三千元至一万元以上、三万元至十万元以上、五十万元以上的，应当分别认定为《刑法》第二百六十六条规定的“数额较大”、“数额巨大”、“数额特别巨大”。