Japanes problems of CE3.7GA on Windows (Windows上でのCE3.7GA日本語問題)

[OSSL]

I post this thread in Japanese.
-----
Pentaho3.7GA コミュニテイ版を WindowsXP で動かしてみたんですが、
日本語がらみで上手く動かない点が有りました。
Linux上では下記の問題は無く正常に動作しています。

1．PDI4.1から日本語項目名を含んだモデルを BIserverにpublish できない。log を確認すると日本語を正しく encode していないようです。スキーマワークベンチやメタデータエディタからは正常に publish できます。
2．BIserver で日本語項目名を含む分析レポートを作成しても、レポートを正常に保存できず「 An error occurred while rendering Pivot.jsp. Please see the log for details.」と表示される。
3．BIserver のログイン後の welcome 画面の new report 等の文字が???に化ける。
４．上記問題の原因かもしれませんが、ダウンロードしたプログラムの zip を解凍する時に、ファイル名に二重拡張子のエラーが発生しています。（主にjs系のファイル）

JAVAはSun JDk1.6.023、クライアントツールは、起動パラメータの修正「-Dfile.encoding="UTF-8"」を追加しています。
何が問題なのかご教示いただけないでしょうか？
よろしくお願いします。

船井　覚

[karate405]

日本語、英語両方にて追記いたします。
Hi, I will write both in Japanese and English

少々、文字化けをしているようですが、以下に追記いたしますので、ご確認ください。
I will add a comment, however, found some characters are oddly encoded.

1．PDI4.1から日本語項目名を含んだモ� ��ルを BIserverにpublish できない。log を確認すると日本語を正しく encode していないようです。スキーマワー� �ベンチやメタデータエディタからは� ��常に publish できます。[/FONT] [FONT=Arial]

・PDIからBIserverに対するPublishを行う、いきさつを追記いただけますでしょうか？(Agile BI ?)
・Can you specify how you are implementing PDI with BI server by publishing? (Agile BI ?)

2．BIserver で日本語項目名を含む分析レポート� �作成しても、レポートを正常に保存� ��きず「 An error occurred while rendering Pivot.jsp. Please see the log for details.」と表示される。

日本語化対応が必要になります。
対応内容：
・レポジトリーDBの文字コード
・BIサーバー内のサーブレットに対する文字コードフィルタリング

In order to i18n with Japanese, you will need folowwing:
a. Changing character encoding in repository DB
b. UTF-8 filtering for Java servlet

3．BIserver のログイン後の welcome 画面の new report 等の文字が???に化ける。
・\tomcat\webapps\pentaho\mantle\launch\launch.jsp をUTF-8対応する。
・modifying \tomcat\webapps\pentaho\mantle\launch\launch.jsp to UTF8

４．上記問題の原因かもしれません� �、ダウンロードしたプログラムの zip を解凍する時に、ファイル名に二重� �張子のエラーが発生しています。（� ��にjs系のファイル）
・こちらの環境では確認が出来ませんでしたので、情報の追記をお願いいたします。
・can you specify further information as this is not happened at my encironment.

以上、よろしくお願いいたします。
Regards,

karate405

[OSSL]

Thanks for your comments.

1．PDI4.1から日本語項目名を含んだモデルを BIserverにpublish できない。log を確認すると日本語を正しく encode していないようです。スキーマワークベンチやメタデータエディタからは正常に publish できます。

・PDIからBIserverに対するPublishを行う、いきさつを追記いただけますでしょうか？(Agile BI ?)
・Can you specify how you are implementing PDI with BI server by publishing? (Agile BI ?)

AgileBIでpublishできません。項目名に日本語を含めなければ、正しくpublishできます。

2．BIserver で日本語項目名を含む分析レポートを作成しても、レポートを正常に保存できず「 An error occurred while rendering Pivot.jsp. Please see the log for details.」と表示される。

日本語化対応が必要になります。
対応内容：
・レポジトリーDBの文字コード
・BIサーバー内のサーブレットに対する文字コードフィルタリング

In order to i18n with Japanese, you will need folowwing:
a. Changing character encoding in repository DB
b. UTF-8 filtering for Java servlet

3．BIserver のログイン後の welcome 画面の new report 等の文字が???に化ける。
・\tomcat\webapps\pentaho\mantle\launch\launch.jsp をUTF-8対応する。
・modifying \tomcat\webapps\pentaho\mantle\launch\launch.jsp to UTF8

設定方法をご教示お願いできませんか？

４．上記問題の原因かもしれません� �、ダウンロードしたプログラムの zip を解凍する時に、ファイル名に二重� �張子のエラーが発生しています。（� ��にjs系のファイル）
・こちらの環境では確認が出来ませんでしたので、情報の追記をお願いいたします。
・can you specify further information as this is not happened at my encironment.

解凍時のログに
-----
W 　administration-console¥www¥org.pentaho.pac.PentahoAdminConsole¥org.pentaho.pac.PentahoAdminConsole.nocache.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥bi-developers¥cdf-samples¥40-support¥scrollable¥jquery.tools.min.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥data-access¥resources¥gwt¥DatasourceEditor.nocache.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥autobox¥jquery.templating.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥autobox¥jquery.ui.autobox.ext.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥autobox¥jquery.ui.autobox.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥dataTables¥js¥jquery.dataTables.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥dataTables¥js¥jquery.dataTables.min.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥daterangepicker¥daterangepicker.jQuery.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥fancybox¥jquery.fancybox-1.3.1.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥jquery-impromptu.1.5.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥jquery.bgiframe.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥jquery.blockUI.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥jquery.corner.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥jquery.dimensions.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥jquery.eventstack.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥jquery.i18n.properties.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥jquery.jdMenu.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥jquery.positionBy.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥jquery.sparkline.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥jquery.tooltip.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥jquery.ui.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥pentaho-cdf¥js¥simile¥ajax¥scripts¥jquery-1.2.3.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥pentaho-solutions¥system¥reporting¥reportviewer¥reportviewer.nocache.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥tomcat¥webapps¥pentaho¥mantle¥mantle.nocache.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W 　biserver-ce¥tomcat¥webapps¥pentaho¥mantleLogin¥mantleLogin.nocache.js - 拡張子の前に空白が挿入されているか、二重拡張子のファイルです。
W エラーまたは警告が発生しています。
----
とでていますが、ファイル自体は存在していますので関係ないのかもしれません。
以上、よろしくお願いいたします。

[shuji]

３．launchi.jspの一行目に<%@ page pageEncoding="utf-8" %>を記載し、ファイルのエンコードをUTF-8で保存してBIサーバー再起動で？は解消されます
４．解凍ツールの問題と思われます。2重拡張子チェック機能がONになっているだけではないでしょうか

[OSSL]

３．launchi.jspの一行目に<%@ page pageEncoding="utf-8" %>を記載し、ファイルのエンコードをUTF-8で保存してBIサーバー再起動で？は解消されます

ありがとうございます！Welcome画面が正常に表示できました。

４．解凍ツールの問題と思われます。2重拡張子チェック機能がONになっているだけではないでしょうか

これはその通りでした。
あと2．の

日本語化対応が必要になります。
対応内容：
・レポジトリーDBの文字コード
・BIサーバー内のサーブレットに対す る文字コードフィルタリング

の設定方法を教えていただけないでしょうか？
お手数かけますがよろしくお願い申し上げます。

[karate405]

上記での２番の解答になります。

2．BIserver で日本語項目名を含む分析レポート� �作成しても、レポートを正常に保存� ��きず「 An error occurred while rendering Pivot.jsp. Please see the log for details.」と表示される。

＞　日本語化対応が必要になります。
>　対応内容：
＞　レポジトリーDBの文字コード
Hibernateデータベースに対しにMySQL DB を使用する場合、Latin1 の文字コードでは、日本語の保存が出来ませんので、UTF8にて設定していただく必要があります。

＞　BIサーバー内のサーブレットに対す る文字コードフィルタリング
BIサーバーが使用しているTomcat のサーブレットコンテクストに対し、デフォルトではUTF-8以外の文字コードが使用されている為
Tomcat側でUTF-8の文字コードを認識する為のフィルタークラスの開発が必要になります。開発内容はTomcatのフィルタリングで検索していただくと
情報を取得出来るかと思います。

[OSSL]

＞　日本語化対応が必要になります。
>　対応内容：
＞　レポジトリーdbの文字コード
hibernateデータベースに対しにmysql db を使用する場合、latin1 の文字コードでは、日本語の保存が出来ませんので、utf8にて設定していただく必要があります。

レポジトリーdbはデフォルトのhsqldbなんですが、その場合はどのように設定すればいいでしょうか？
何度も申し訳有りませんがよろしくお願いします。

[shuji]

そもそもBIサーバーCE3.7では、分析レポートは作成できませんが、クライアントツール（ワークベンチ）で作成されたスキーマでしょうか。
ワークベンチで作成されたものであれば、ワークベンチの起動パラメータに-Dfile.encoding="UTF-8"を記載することで修正されると思われます。

[OSSL]

何度もありがとうございます、データ項目に日本語を含めるとData Integration 4.1 AgileBIでモデル作成->publishできない現象です。データ項目に日本語を含まなければpublishでき、また Schema Workbench, Metadata Editorからは日本語項目を含めても問題なくpublishできます。

[impgamma]

はじめまして。横から失礼します。
無意味かもしれませんがご参考まで。

私が試しているのはWindows XP SP3、　Schema Workbench 3.2.0 rcですが、
workbench.batのclasspath設定部に以下の行を追加したらPublish成功しました。

　set CP=%CP%;lib/xalan.jar

試行錯誤の結果です。

[OSSL]

申し訳有りませんが、もう少し教えていただけないでしょうか？

＞　BIサーバー内のサーブレットに対す る文字コードフィルタリング
BIサーバーが使用しているTomcat のサーブレットコンテクストに対し、デフォルトではUTF-8以外の文字コードが使用されている為Tomcat側でUTF-8の文字コードを認識する為のフィルタークラスの開発が必要になります。開発内容はTomcatのフィルタリングで検索していただくと
情報を取得出来るかと思います。

Linux版BIserver3.7CE+Data Integration4.1CEでは、日本語項目が含まれていてもAgileBIから正常にpublishできますが、Windowsではできません。つまり、構成ファイルはどちらも同じ内容で、¥Tomcat¥webapps¥pentaho¥WEB-INF¥web.xmlには、

<context-param>
<param-name>encoding</param-name>
<param-value>UTF-8</param-value>
</context-param>

<filter> <!-- This must be the first filter listed in the web.xml -->
<filter-name>Set Character Encoding Filter</filter-name>
<filter-class>org.pentaho.platform.web.http.filters.PentahoAwareCharacterEncodingFilter</filter-class>
<init-param>
<param-name>ignore</param-name>
<param-value>yes</param-value>
</init-param>
</filter>

<filter-mapping>
<filter-name>Set Character Encoding Filter</filter-name>
<url-pattern>/*</url-pattern>
</filter-mapping>

が含まれており、server.xmlにも対となる設定が有ります。
という事は、Windows環境では他に変更／追加しないといけない部分が有るという事でしょうか？
よろしくお願いします。

[OSSL]

リポジトリDB(hibernate, quartz)をデフォルトのHSQLDBではなく、MySQLに変更し、default character setをutf8にしてやり直してみましたが、現象は変わりませんでした。（参考：しかしこのままやっても動かないので変更必要）
ちなみに、create_repository, quartzのSQLスクリプトでは、create tableのdefault character setがlatin1になっているのでこれをutf8に変更してcreateすると、ERROR 1071: Specified key was too long;となるので、latin1でcreateしてから後でalterコマンドでutf8に変更しました。
やはり「BIサーバー内のサーブレットに対する文字コードフィルタリング」が問題なんでしょうか？

[shuji]

作成したデータ変換の出力先がリポジトリDBであれば、DBはUTF-8などの日本語対応が必要ですが、お気づきのように、UTF-8にするとキーが設定されたカラムはMySQLの制限にひかかりエラーとなります。
Pentahoのリポジトリはデフォルトのままで、出力先をリポジトリDB以外のデータマート用などのDBで作成すればよいのではないでしょうか。

[OSSL]

解決しました！皆様ありがとうございました
まとめますと、

1．PDI4.1 (AgileBI)から日本語項目名を含んだモデルを BIserverにpublish できない。log を確認すると日本語を正しく encode していないようです。スキーマワークベンチやメタデータエディタからは正常に publish できます。
2．BIserver で日本語項目名を含む分析レポート作成しても、レポートを正常に保存できず「 An error occurred while rendering Pivot.jsp. Please see the log for details.」と表示される。

/biserver-ce/start-pentaho.batを開き、CATALINA_OPTS に -Dfile.encoding="UTF-8"を追加する事で解決。

3．BIserver のログイン後の welcome 画面の new report 等の文字が???に化ける。

\tomcat\webapps\pentaho\mantle\launch\launch.jspの一行目に<%@ page pageEncoding="utf-8" %>を記載し、ファイルのエンコードを UTF-8で保存してBIサーバー再起動

４．上記問題の原因かもしれませんが、ダウンロードしたプログラムの zip を解凍する時に、ファイル名に二重拡張子のエラーが発生しています。（主にjs系のファイル）

これは、解凍ソフトの警告で正常にファイルは出力されていたので、関係ありませんでした。