唐代張彥遠曾說：「夫畫者，成教化，助人倫，窮神變，測幽微，與六籍同功，四時並運。」繪畫曾經承擔著「成教化，助人倫」的社會功能，這尤其表現在早期人物畫上。而明代董其昌則勾勒出一個中國文人畫的系統：「文人之畫，自王右丞始。其後董源、巨然、李成、範寬為嫡子，李龍眠、王晉卿、米南宮及虎兒，皆從董、巨得來。直至元四大家黃子久、王叔明、倪元鎮、吳仲圭，皆其正傳。吾朝文、瀋，則又遠接衣缽。」這一文人畫系統指脫離了具體社會功能的山水畫體系，現在一般將元以後的文人花鳥畫也歸入文人畫。
畫者文之極
在這個系統中，不吁在與自然物完全對應的「寫實」，嚴格來說，在中國傳統繪畫中從未吁在過「寫實」的繪畫形式。寫實的前提是主客分離，主觀遵從客觀、感性遵從理性的思維與表現方式，這是西方古典繪畫的基本思維方式。而中國畫之最終歸宿與本源屬性是「文」，宋代鄧椿的《畫繼》說：「畫者，文之極也。」繪畫通過視覺形象承載精神內涵。《說文解字》釋「文」：「錯畫也。像交文。」在篆書中，「文」之形由四筆斜向粘搭交錯而成，在金文中，四筆交搭形成的封閉的四邊形內常可見一「心」形符號，可見，「文」即心中之文。《易》云：「仰以觀於天文，俯以察於地理，是故知幽明之故。」又云：「剛柔交錯，天文也。文明以止，人文也。觀乎天文，以察時變；觀乎人文，以化成天下。」天文、人文是「觀」、「察」之所得，故天文、人文是在人心中的天文與人文，易像由此天文、人文出，而非客觀物的具體形象。同樣，畫並非簡單的現實世界的視覺反映，故可「窮神變，測幽微，與六籍同功，四時並運」。
意在筆墨之外
明末姜紹書在《韻石齋筆談》中將元代黃公望視為文人畫的標幟，認為明畫中瀋周、董其昌成就最高，均能達到氣韻生動，而兩者都出自黃公望。黃公望畫作「秀潤天成，每於深遠中見瀟灑，雖博綜董巨，而靈和清淑，逸群絕倫，即雲林之幽淡，山樵之縝密，不能勝也」，能「取像於筆墨之外，脫銜勒而抒性靈」，故「為文人建畫苑之幟」。
宋代郭熙在《林泉高致》中曾將山水畫所達到的境界分為可行者、可望者、可游者、可居者，認為「畫凡至此，皆入妙品」，而可居、可游在可行、可望之上，這體現了宋人的追求。宋畫表現山川林木的體量以呈現游居者對真山水之實感。相比之下，以黃公望為代表的元人山水則由現實的游居之地轉變為心靈的棲居之所，超越山川林木的體量。由此，元人山水畫追求畫面的「空」與「簡」，在「空」與「簡」中，筆墨自身被突顯出來，呈現為「逸」的形態與特徵。在「逸」之筆墨的有效提示下，「空」而滿，「簡」而繁，「筆墨之外」的追求成為一種至高境界。清代惲壽平在《南田畫跋》中就說：「今人用心，在有筆墨處；古人用心，在無筆墨處。倘能於筆墨不到處，觀古人用心，庶幾擬議神明，進乎技矣。」計白當黑是中國畫的一個重要原則，從畫史來看，正是在元代山水畫中，「白」的意義與價值被充分突顯出來。元人賦予「白」以無窮的意義，在弱化山川林木體量的同時，賦予「白」以體量與靈魂，筆墨之外有其「像」在。
「逸」是文人繪畫追求的方向。宋代黃休復在《益州名畫錄》中認為：「畫之逸格，最難其儔。拙規矩於方圓，鄙精研於彩繪，筆簡形具，得之自然，莫可楷模，出於意表，故目之曰逸格爾。」「逸格」作品的基本特徵是水墨與簡筆。元人繪畫，筆墨在量上被簡省，意在筆墨之外，而視覺上的實形也只剩筆墨。明代陳繼儒言：「文人之畫，不在蹊徑，而在筆墨。李營丘惜墨如金，正為下筆時要有味耳。元四大家皆然。」元人對於筆墨的貢獻及其所達到的高度，成為後人仰望的高峰。倪瓚的名言「僕之所畫者，不過逸筆草草，不求形似，聊以自娛耳」，表達了元人典型的筆墨狀態。個人化的筆墨形態反映著畫家不同的內心世界，姜紹書謂黃公望「脫銜勒而抒性靈」，是元代繪畫發展的必然。
無文之畫
「文人畫」的概念在晚明被確定下來，但事實上，當時的繪畫已開始衰落。雖然以董其昌、陳繼儒為首的畫家大力倡導文人畫，試圖使繪畫回到原有的精神高度，但明清繪畫在整體上已無法向元代復歸，元人作品成為後人不斷師法而又難以企及的標桿。董其昌標舉「以畫為寄」、「以畫為樂」，並認為「寄樂於畫，自黃公望始開此門庭耳」，顯然是將自身立場強加於黃公望，並不符合元人的用意與追求。元人畫作所表達的是參悟天地人世後的內心感懷與人生境界，相比之下，世俗化的生吁方式使明代文人缺乏這種深切的感悟。他們推舉作為元代文人畫特徵的「空」、「簡」與個人化的筆墨形態，但未必能真正理解這些特徵的無窮內蘊。董其昌個人的追求固然達到了很高的境界，但整體而言，明清畫家在對文人畫的標舉中，漸漸只剩下空闊的紙面以及流為墨戲的率性墨跡，而「文人」之精神已失，中國畫作為「文」的身份以及畫是「文」之畫的內在要求被遺忘，無「文」之畫離畫之本源越來越遠。
