L'origine di questi frantoi si perde nella notte dei tempi ed è legata alla pratica agricola ed economica della coltivazione dell'olivo, che va ben oltre il recente periodo dell'età moderna, ma, praticata per tutto il Medioevo, risale all'antichità classica ed anche oltre. Il frantoio dove ora sorge il Caffè Cavour veniva usato soprattutto per nascondere l'olio ed evitare così, che potesse essere derubato dai vari predatori che, nel corso degli anni, hanno invaso la città Bianca. Il Caffè Cavour ha voluto riportare alla luce questo tesoro nascosto conservandone intatte le caratteristiche e l'atmosfera. Si possono, infatti, ammirare le vasche di decantazione dell'olio, le "chianche" originali, la mangiatoia dove era posizionata la macina e il cunicolo dove venivano scaricate le olive.