但文字毕竟是一种符号，用来指示已经发生或正在发生的事情，用来表达或唤起什么。我们看到文字通过对我们的思维产生影响，使得我们的生活产生了局限和界限。只有将头脑从文字和语言的意义中解脱出来，抛弃虚浮的文辞、追求经典的实质，不带联想地观察世界，我们才能真正地认识自己、认识世界，也才能真正“致良知”——学习到心灵成长的智慧。
知识不等于智慧
后世不知作圣之本是纯乎天理，却专去知识才能上求圣人，以为圣人无所不知，无所不能，我须是将圣人许多知识才能逐一理会始得。故不务去天理上着工夫，徒弊精竭力，从册子上钻研、名物上考索、形迹上比拟。知识愈广而人欲愈滋，才力愈多而天理愈蔽。正如见人有万镒精金，不务锻炼成色，求无愧于彼之精纯，而乃妄希分两，务同彼之万镒，锡、铅、铜、铁杂然而投，分两愈增而成色愈下，既其梢末，无复有金矣。
王阳明认为，大多数人难以成为圣人，主要是因为他们只注重在知识、才能上努力学习做圣人，认为圣人是无所不知、无所不能的，自己只需要把圣人的知识才能全部学会就行了，哪里知道做圣人的根本在于让心合乎天理。他们不从天理上下功夫，而是费尽精力钻研书本、考寻名物、推理形迹。这样，知识越渊博的人私欲越是滋长；才能越高，天理反而越被遮蔽。这就像看见别人拥有万镒的纯金，自己只妄想在分量上赶超别人，把锡、铅、铜、铁等杂质都掺进金子里去，却不肯冶炼自己的成色。虽然增加了分量，成色却更加低下，到最后有的就不是真金了。由此得出一个结论：掌握知识并不等于拥有智慧，而没有智慧，是成不了圣人的，也难以摆脱内心的烦恼和痛苦。