授柱国大将军，袭爵庸国公。建德五年，武帝东征，谦力战，进位上柱国。
六年，授益州总管十八州诸军事。及宣帝崩，隋文帝辅政，以梁睿为益州总管。时谦使司录贺若昂奉表诣阙。昂还，具陈京师事。谦以父子受国恩，将图匡复，遂举兵，署置官司。总管长史乙弗虔、益州刺史达奚惎劝谦凭险观变。隆州刺史高阿那肱为谦画三策曰：「公亲率精锐，直指散关，蜀人知公有勤王之节，必当各思效命，此上策也；出兵梁、汉，以顾望天下，此中策也；坐守剑南，发兵自卫，此下策也。」谦参用其中下之策。
梁睿未至大剑，谦先遣兵镇始州。隋文帝即以睿为行军元帅，便发利、凤、文、秦、成诸州兵讨之。谦所署柱国达奚惎、高阿那肱、大将军乙弗虔、杨安、任峻、侯翕、景孱等众号十万，尽锐攻利州，总管、楚国公豆卢勣拒战将四旬。惎等诸军闻睿将至，众遂溃。谦所署大将军苻子英攻巴州，又为刺史吕珍所破。睿乘其弊，纵兵深入。棋、虔密遣使诣睿，请为内应以赎罪。谦不知惎、虔之反己也，并令守成都。谦先无筹略，且所任用多非其才，及闻睿兵奄至，惶惧计无所出，乃自率众逆战，又以惎、虔之子为左右军。行数十里，左右军皆叛，谦奔新都，县令王宝执而斩之，傅首京师。惎、虔以成都降。隋文帝以惎、虔首谋，令杀之于蜀市。余众并散。阿那肱寻亦被诛。
论曰：李弼怀佐时之略，逢兴运之期，缔构艰难，绸缪顾遇，方面宣其庸绩，帷幄尽其谋猷，非唯攀附成名，抑亦材谋自取。密遭风云之会，奋其鳞翼，思封函谷，将割鸿沟，期月之间，众数十万。威行万里，声动四方。虽事屈兴王，运乖天眷，而雄名克振，何其壮欤！然志性轻狡，终致颠覆，固其宜也。宇文贵负将帅之材，蕴刚锐之气，遭逢丧乱，险阻备尝，自致高位，亦云美矣。忻武艺之风，名高一代。及晚节遇祸，虽鸟尽弓藏，然亦器盈斯概，夷戮非为不幸。恺学艺兼该，思理通赡，规矩之妙，参从班、尔，当时缺席，咸取则焉。其起仁寿宫，营建洛邑，要求时幸，穷侈极丽，使文皇失德，炀帝亡身，危乱之原，抑亦由此。至于考览书传，定《明堂图》，虽意过其通，有足观者。侯莫陈崇以勇悍之气，逢战争之秋，轻骑启高平之扉，疋马和长坑之俊。以宏材远略，附凤攀龙，茂绩元勋，位居上衮，而识惭明哲，遂以凶终，惜哉！王雄身参佐命，谦宠列山河，及投袂勤王，志匡社稷，虽忠君之效未宣，与夫怀禄图存者异也。
初，魏孝庄帝以尔硃荣有翊戴之功，拜荣柱国大将军，位在丞相上。荣败后，此官遂废。大统三年，魏文帝复以周文帝建中兴之业，始命为之。其后功参佐命，望实俱重者亦居此职。自大统十六年已前，任者凡有八人。周文帝位总百揆，都督中外军事。魏广陵王欣，元氏懿戚，从容禁闼而已。此外六人，各督二大将军，分掌禁旅，当爪牙御侮之寄。当时荣盛，莫与为比。故今之称门阀者，咸推八柱国家。今并十二大将军录之于左：
使持节、太尉、柱国大将军、大都督、尚书左仆射、陇右行台、少师、陇西郡开国公虎。
使持节、太傅、柱国大将军、大宗师、大司徒、广陵王元欣。
使持节、柱国大将军、大都督、大宗伯、赵郡开国公李弼。
使持节、柱国大将军、大都督、大司马、河内郡开国公独孤信。
使持节、柱国大将军、大都督、大司寇、南阳郡开国公赵贵。
使持节、柱国大将军、大都督、大司空、常山郡开国公于谨。
使持节、柱国大将军、大都督、少傅、彭城郡开国公侯莫陈崇。
与周文帝为八柱国。
使持节、大将军、大都督、少保、广平王元赞。
使持节、大将军、大都督、淮安王元育。
使持节、大将军、大都督、齐王元廓。
使持节、大将军、大都督、平原郡开国公侯莫陈顺。
使持节、大将军、大都督、七州诸军事、秦州刺史、章武郡开国公宇文导。
使持节、大将军、大都督、雍州诸军事、雍州刺史、高阳郡开国公达奚武。
使持节、大将军、大都督、阳平郡开国公李远。
使持节、大将军、大都督、范阳郡开国公豆卢宁。
使持节、大将军、大都督、化政郡开国公宇文贵。
使持节、大将军、大都督、荆州诸军事、荆州刺史、博陵郡开国公贺兰祥。
使持节、大将军、大都督、陈留君开国公杨忠。
使持节、大将军、大都督、岐州诸军事、岐州刺史、武威群开国公王雄。
是为十二大将军。每大将军督二开府，凡为二十四员，分团统领，是二十四军。每一团，仪同二人。自相督率，不编户贯。都十二大将军。十五日上，则门栏陛戟，警昼巡夜；十五日下，则教旗习战。无他赋役。每兵唯办弓刀一具，月简阅之。甲槊戈弩，并资