借款协议本身有法律效力，但“借款人还不了借款其房子归我”的约定属于流质条款，我国法律禁止未经法定程序确定房屋公允价值就直接以房抵偿借款的约定，因此该条款可能被认定无效，但不影响借款协议的其他条款效力。

我国《民法典》第401条规定：“抵押权人在债务履行期限届满前，与抵押人约定债务人不履行到期债务时抵押财产归债权人所有的，只能依法就抵押财产优先受偿。”该规定明确禁止抵押双方当事人设立流质条款的强制性规定，即便符合抵押人与抵押权人你情我愿的真实意思表示也不能得到法律支持，所以在提供借款时或者以房产设定抵押时，债权人与债务人不得提前约定债务不能归还时，抵押物（房产）归债权人（抵押权人）所有。但在债务人到期不能履行债务时，债权人可以抵押财产折价或者拍卖、变卖该房产的价款优先受偿。对房产设定抵押还需注意不动产抵押是以办理不动产抵押登记为设立条件，因此仅签订借款协议约定该以房抵债的仅对当事人双方有约束力，并不能产生抵押的法律效力，也不能对抗第三人。

国家设置《民法典》第401条,禁止在借款时即约定以房抵债的规定是为了保护债务人的利益，防止债权人趁人之危。但是当借款合同双方当事人经协商一致，终止借款合同关系，建立房屋买卖合同关系，并将借款本金及利息转化为已付购房款并经对账清算的，该房屋买卖合同的订立不会损害债务人的利益。同时，在不存在法律规定的无效合同的情况下，该房屋买卖合同具有法律效力，不属于流押。但对转化为已付购房款的借款本金及利息数额，当事人不得将超出法律规定保护限额的高额利息转化为已付购房款。