書畫辨僞是與書畫作僞聯繫在一起的。據記載，南朝時已有人僞作二王法書，唐代張易之曾使人僞作名畫，然而五代以前，此類存心作僞之事並不多見，人們臨摹複製古書畫主要還是作爲一種流傳研習的手段。宋代，隨着商業的空前發展，書畫作品成爲一種獲利頗高的商品，一些大都市中出現了包括書畫在內的文物市場，如汴京相國寺的集市上即有專門買賣書畫的鋪席，於是作僞謀利的現象就變得較爲普遍了。
北宋米芾稱其所見宋初李成的畫作，僅兩件是真跡，其餘三百件皆是贗品，而據宋人記載，米芾本人也曾經僞作古書畫以騙取他人真跡，作僞之風於此可見一斑。在這種情況下，書畫辨僞之學便勃然而興了。當時不少書畫家和文人學者都以精於鑑賞著稱，他們在論述歷代書畫作品時，常提到真僞的問題。南宋趙希郜所撰《洞天清錄》是我國第一部以辨僞爲主要內容的文物鑑賞著作，其中“古翰墨真跡辨”、“古畫辨”等篇即專論書畫辨僞。
從書中所述看，當時已能根據藝術風格、紙絹、筆墨、幅式、裝潢、印章等方面來辨別真僞了。如論李公麟之畫，“殆無滯筆，凡有筆跡重濁者，僞作”；論幅式，“古畫多直幅，至有畫身長八尺者，雙幅亦然，橫披始於米氏父子（米芾、米友仁），非古制也”；論墨色，“古畫色黑或淡墨，則積塵所成，有一種古香可愛，若僞作者，多作黃色，而鮮明不塵暗，此可辨也。”
明代，書畫作僞之風更興，當時不但有個別人的作僞，而且還出現了專制假畫的作坊，於此相應，人們對書畫的真僞也更爲注意。曹昭原著，王佐增編的《新增格古要錄》中有“古畫論”、“古墨跡論”等篇，所論書畫辨僞問題較前人更爲廣泛而深入。高深《遵生八箋?燕閒清賞箋》有“論帖真僞紙墨辨正”、“畫家鑑賞真僞雜說”等篇，書中所論，在不少方面對《新增格古要錄》有所糾正和補充。此外，許多書畫著錄書對辨僞問題也時有涉及。
清代以來，書畫作品的功能有所擴大，名人字畫不僅是一種可供鑑賞、擺設的文物古玩、而且被人當作可儲藏保值的財富，甚至還常被用以賄賂饋贈，成爲一種謀取官職，疏通關係的手段。這促使書畫買賣更爲興盛，價格日益提高，於是作僞的規模更大，手法也更高明。
因爲書畫的真僞直接關係到人們的經濟利益和官場活動的成敗，所以凡與書畫打交道的人，如書畫家、收藏家、古玩商等，都對辨僞問題十分重視。當時有關書畫辨僞的論述和論著頗多，由於歷史考據學和古器物鑑定學的發展，人們的辨僞方法更爲完善，指導思想也更爲正確。
如錢泳曾提出要獨立思考，多看實物的基本原則，否定了以往流行的“須具金剛眼力，鞠盜心思”的捉賊式辨僞方法。這顯示出，清代的書畫辨僞已逐步形成了一套比較完整的體系。
民國時期，書畫辨僞的方法更加進步，水平也有所提高，並日趨制度化、學術化。有關的專論和專著不斷髮表和出版，辨僞的知識更爲普及。當時，政府的古物陳列所和博物館中有專門的人員從事系統的書畫鑑定、辨僞工作，而日益發展的古玩業中也出現了大批精於鑑定、辨僞的行家，有些人還據自己的經驗撰成專著，如趙汝珍的《古玩指南》中即有論述書畫作僞和辨僞的專篇，至今仍有一定的參考價值。
解放後，隨着史學研究的深入和文物博物館事業的發展，包括書畫在內的文物研究工作取得了前所未有的成就，書畫辨僞走上了科學化和系統化的道路。從事書畫鑑定的許多專家不但虛心吸取了前人的經驗，而且多有創造和發明，再加上現代科學手段的運用，如以紅外線照像顯示反差極小的畫面、印痕和墨跡等，從而使書畫辨僞之學更臻於完善。他們所做的辨僞工作，認識之全面和深入，方法之完備和精密，論斷之精闢和準確，都是前人不可比擬的。
書畫辨僞是一項複雜的工作，正確地辨識出一件僞作，實際上是辨僞者憑藉自己的經驗，運用了多方面的學識，進行分析、綜合、判斷後的結果。因此，對從事辨僞的人來說，除須掌握一些基本的辨僞方法外，還應具備有關書畫及文、史、哲等多方面的知識。與辨僞有關的知識十分廣泛，以下列舉數項與其關係最密切且最重要的知識。
要辨別書畫作品的真僞，首先要了解書法、繪畫藝術的發展史。這包括各種書體和各科繪畫的發展、變化；各個時代的藝術思潮和書畫風尚；各個重要書畫系派的興起、傳承和演進；歷代著名書畫家的姓名、字號、生平、交友及所擅之項、風格特徵等等。如果不具備這些知識，辨別真僞是無從談起的。
書畫家的技法特徵是辨僞的重要依據，因此對書畫的創作過程和基本方法應有所瞭解。就此而言，辨僞者最好自己會一點書法和繪畫，這樣就能對如何運筆、用墨、設色、佈局、構圖乃至題跋、落款、用印等具有一些感性認識，從而有助於把握書畫家的技法特徵。此外，對筆、墨、色、紙絹等書畫用具、材料的特性和製作工藝，及書畫作品的幅式、裝沒等也應有所瞭解。
具備一定的藝術鑑賞能力也很重要。古代書畫家的作品能夠爲後人珍視和保存，總有一定的藝術價值，雖然鑑定界有“真的不一定好，假的不一定壞”的習語，但一般來說，傳世作品，尤其是名家的作品，畢竟是真而好的多，假而好的少，而事實上也確有不少作品是據其藝術上的優劣來斷其真僞的。因而難以想象，一個毫無藝術鑑賞能力的人卻能夠全面而準確地鑑別書畫。