結論からお伝えすると日本語データでも問題無く結果が出せました。
Developers.IOの記事
こちらのクラスメソッドさんのブログを参考にしています。
主成分分析の場合、使用する変数は数値データになるので、カラム名だけ日本語に変更して試してみました。
また、
【オプション】⇒【ユーザー設定】⇒【ユーザー設定の編集】⇒【ローカライゼーション】タブ
にて
【予測ツールロケール / コードページ】を『日本語シフト JIS (CP932)』に変更する必要があります。
これを変更しないと日本語のカラムは読めずにエラーになります。
コードページについては、Shift-JISに変更しても、おそらく英語データは問題無く読み込めるので、一度設定を変えておけばそれ以降困ることはないと思います。