委托人不可以直接向借款人主张债权。在履行委托贷款协议过程中，由于借款人不按期归还贷款而发生纠纷的，贷款人（受托人）可以借款合同纠纷为由向人民法院提起诉讼。贷款人坚持不起诉的，委托人可以委托贷款协议的受托人为被告，以借款人为第三人向人民法院提起诉讼。《关于审理民间借贷案件适用法律若干问题的规定》第二条规定，出借人向人民法院起诉时，应当提供借据、收据、欠条等债权凭证以及其他能够证明借贷法律关系存在的证据。一、债务人拒不偿还债务如何去处理。债务人拒不偿还债务，债权人可以去法院申请支付令，或者起诉追讨。《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》第二条规定，出借人向人民法院提起民间借贷诉讼时，应当提供借据、收据、欠条等债权凭证以及其他能够证明借贷法律关系存在的证据。