// Using a JSeparator
import javax.swing.JSeparator;
// ...
JSeparator vertical = new JSeparator( JSeparator.VERTICAL );

myPanel.add( vertical, constraints );