青年時代曾師事汪道昆、王世貞；後傾心「公安派」。交遊極廣，與戲曲家張鳳翼、湯顯祖、屠隆以及袁宏道兄弟等的友誼都很深，與李贄也有過來往。他曾長期生活在南京、蘇州等地，晚年住在黃山，專心整理著述。潘之恆一生愛好戲曲，曾多次主持「曲?」活動。他寫了許多文章，詳細記錄了從隆慶四年(1570)至萬曆四十七年(1619)整整50年間崑山腔演出的許多具體情況，保留了不少極爲珍貴的歷史資料。
他總結、分析了戲曲表演藝術的經驗，提出了一些很有見地的觀點，豐富了中國戲曲理論寶庫。潘之恆認爲，戲曲是「生於千古之下，而遊於千古之上」，「顯陳跡於乍見，幻滅影於重光」，目的是「悟世主而警凡夫」。他主張戲曲表演必須從生活出發，「以情寫情」，反對簡單、生硬、機械摹仿。他認爲「爲劇必自調音始」，必須「先正字，而後取音」。他要求演員必須掌握「曲餘」的技巧，要用飽滿的感情，唱出曲中的餘韻，使人感到餘音嫋嫋，其味無窮。他從「度」、「思」、「步」、「呼」、「嘆」五個方面，論述了表演藝術應該注意的許多具體問題。他認爲表演一定要注意分寸，合乎規矩、節奏。只有「濃淡繁簡，折衷合度」，演出才能得其意，傳其情，收到良好的效果。潘之恆的這些意見，對於幫助演員提高表演藝術，具有一定的積極意義。因此當時人們都把他視爲「賞音」，譽爲「獨鑑」。許多人還認爲，演唱崑山腔，只要得到他的稱許，就算有了定評。潘之恆一生和演員關係極爲密切，他曾懷着極大的同情，爲全國各地的許多女演員寫了不少小傳，因而獲得「姬之董狐」的稱號。潘之恆生活在崑山腔正走向全面繁盛的歷史時代，他以一個詩人的眼光來看戲、評戲，尤其在評論戲曲表演藝術方面，成就最爲突出。
潘之恆的戲曲評論，在中國戲曲批評史上佔有重要地位。潘之恆論戲曲表演藝術的文章和所寫演員小傳都收入他的綜合性著作《亙史》和《鸞嘯小品》中。
