胡椒的辛辣味主要來源于化合物胡椒堿，胡椒堿同時存在于果皮和種子中。按毫克來計算，精制胡椒堿的辣度大約是辣椒中辣椒素的百分之一。胡椒的外果皮中還含有可產(chǎn)生氣味的蒎烯、檜烯、苯烯、石竹烯與芳樟醇等萜類，這些還是讓檸檬、樹木和花朵等產(chǎn)生氣味的物質(zhì)。白胡椒幾乎失去了這些氣味，因為白胡椒去掉了果皮層。由于要經(jīng)歷更長的發(fā)酵階段，白胡椒會獲得其他的一些氣味（包括霉味）。

胡椒的氣味會隨化學物質(zhì)揮發(fā)而流失，因此密封保存有助于長期保藏胡椒的香馥。在光線的照射下也會讓胡椒失去一些香味，因為胡椒堿會被轉(zhuǎn)變?yōu)閹缀鯚o味的異胡椒脂堿。在研磨成粉后，胡椒的芳香會更迅速地揮發(fā)；因此大部分的烹調(diào)書都建議不要在使用前研磨胡椒子。手持胡椒研磨器可以機械地將胡椒子研磨或壓碎并制成胡椒粉，同時也有市售的胡椒粉。在14世紀時的歐洲廚房中便已有胡椒研磨器這類香料研磨器的存在，不過更早前使用臼杵來研磨胡椒也是一個常見的方法。