他雖說得名正言順，但還有人反對。當時北京有位名高望重的大學士倭仁就大聲疾呼地反對說：

竊聞立國之道，尚禮義不尚權謀；根本之圖在人心，不在技藝。今求之一藝之末，而又奉夷人為師。無論夷人詭譎，未必傳其精巧，即使教者誠教，所成就者不過術數之士。古今來未聞有恃術數而能起衰振弱者也。天下之大，不患無才。如以天文算學必須講習，博采旁求必有精其術者，何必夷人？何必師事夷人？

恭親王憤慨極了，...