Py淡 (PyTan)

Using buffer protocol to dynamically texture with 2D numpy array in Panda3d

I followed this official blog post "Buffer protocol support" and came up with a short example of simple video player in panda3d using numpy 2d array as texture. The trick was to use setRamImage on Texture object. To do that, we have to setup the memory layout using setup2dTexture method.

setup2dTexture ( int x_size, int y_size, Texture::ComponentType component_type, Texture::Format format )

Texture format and Texture componentType need to be set correctly. By try and error, I figured that the combination of T_unsigned_byte and F_luminance works for 8 bit gray scale image.

Geany 1.25 is out! Overview plugin is now included in Geany-Plugins!

There was an announcement in the Geany-Users email list that Overview plugin is now officially included in the Geany-Plugins!

Overview plugin is a plugin that provides sublime text minimap like feature for Geany. I had built it from source before and tested as in this post. Back then, it was a little buggy on Windows.

Geany-Plugins can be downloaded from here. The overview plugin requires Geany 1.25, so update your Geany before you install Geany-plugins.

In my test, the issue with the preference dialog on Windows seems fixed.

以前「Sublime TextのミニマップみたいなGeanyプラグインOverviewをウィンドウズでビルドしてみた。」で紹介したOverviewプラグインがGeany1.25に合わせて正式にリリースされました。ダイアログの問題も解決済みのようですし、いい感じです。

Sublimeにも慣れてきたんですが、Geanyもやっぱりいいなぁ。SublimeでGUIやイベントループがあるライブラリを使うとprintでデバックメッセージをプリントすると遅延があるし、REPLなら大丈夫なんだけどもタブをいちいち閉じるのがいやなのでminimapの機能も追加されたことだし、Geanyに戻っちゃおうかなぁなんて思ってしまいました。

追記）GeanyでOverviewプラグインをウィンドウズで使うとスクロールが遅くなるバグがあるようです。Sublimeに舞い戻ってしまいました。

Numpy: NaNをリニアインターポレーションして置き換える

def interp_nan(x):
    '''
    Replace nan by interporation
    http://stackoverflow.com/questions/6518811/interpolate-nan-values-in-a-numpy-array
    '''
    ok = -np.isnan(x)
    xp = ok.nonzero()[0]
    fp = x[ok]
    _x = np.isnan(x).nonzero()[0]
    x[-ok] = np.interp(_x, xp, fp)
    
    return x

Site-packagesに入れていつでもインポートできるようにしておくと便利なスニペット。もともとはStackoverflowで見つけたものほぼそのまま。ravelが何で入れてあるのかコメントで突っ込まれていて、確かになくとも動くのでとっておいた。

いつもと違うPCなんかでコーディングするときようの覚書。Pygmentsにもあげておいた。

使用例

>>> toy = np.array([np.nan, 1, np.nan, 3, np.nan, 9, np.nan, 2, np.nan])
>>> interp_nan(toy)
0: array([ 1. ,  1. ,  2. ,  3. ,  6. ,  9. ,  5.5,  2. ,  2. ])

BlenderとYABEEでPanda3d用にモデルを作る

Panda3d用のモデル製作にはMayaが一番相性がいいらしいが月額123ドル？。フリーのBlenderでは以前はChickenというかなり完成度の高いエクスポーターがあったが古くなり使われてなく、現在はYABEEというプラグインが使われている。

Blenderのバージョンとの相性

Blenderのデベロッパーは頻繁にGUIや内部の仕様を変えるらしく、Chickenがメンテできなくなったのも多分そのため。なので、YABEEを使うときは組み合わせるBlenderのバージョンに注意する必要がある。いまGithubにあるYABEE-master.zipはPanda3dのフォーラムによるとリビジョン１４（r14）に当たるらしいが、Readmeなどは面倒なので更新していなためr13.1と区別が付かないので注意。

一応Readmeには2.7もサポートとあり最新版の2.74でも一応使えたが、フォーラムを見て回ると、r13.1まではBlenderの2.68aと組み合わせて使う人が多いようなのでBlender公式サイトの過去のバージョンのページから2.68aをダウンロードして使うのが安心かもしれない。

YABEEのインストール

GithubのReadmeがまったく内容がないので、最初戸惑うがYABEE-master.zipに同梱されているYABEE_HowTo.pdfというちゃんとしたマニュアルがありインストール方法もある。マニュアルは多少古い。

お勧めはCtrl+Alt+UでBlenderのユーザープレファレンスをだして、Addonsタブを選び、Install from FileからYABEE-master.zipを指定し、eggにエクスポートするオプションにチェックする。ここでSave User settingsを押しておかないと次回起動にまたチェックすることになる。その場合、Addonsのタブの左CategoriesからImport-Exportを選ぶと探しやすい。

YABEE使い方

Blenderは手軽に美しいmaterialやテクスチャを生成できるCycles Renderが売りだと思うが、これで生成したゴージャスなmaterialやテクスチャはエクスポートできないようなのでデフォルトのBlender Renderですべて行う。悲しい。うまくBakeする方法があるのではないかと思うがBlender歴2週間なのでまだ良くわからない。

YABEEは残念ながらChickenに比べてエクスポートの機能は制限されるようだが、一応meshにイメージテクスチャをUVマッピングした状態でエクスポートできる。materialのエクスポートはかなり制限されるのでPandaの方でやり直しになる。ただし、materialが全くないとイメージテクスチャも無効になるのでデフォルトの materialくらいはつけておく。アニメーションもエクスポートできるようだけど今のところ必要ないので試していない。

エクスポートするときは対象のmeshを選択した状態でFileからeggのエクスポートを選択する。YABEEではライトはエクスポートされないのでPanda3dの方で適切に光を当てないと見え方が変わるので注意。私は、エクスポートする直前にSave asでBlenderファイルをコピーして、欲しい物以外すべて削除した状態でエクスポートを実行している。そうしないと要らないものもエクスポートされているような気がする。。。

Panda3dを使用したPythonスクリプト用のSublime Textビルドコマンド設定

{
    "cmd": ["C:/Panda3D-1.9.0/python/ppython.exe", "$file"],
    "file_regex": "^[ ]*File \"(...*?)\", line ([0-9]*)",
    "selector": "source.python",
    "working_dir": "C:/Panda3D-1.9.0/bin"
}

をppython.sublime-buildとしてPortableApps\sublime_text\Data\Packages\Userに保存。私のsublimeはPortableApps.com経由なのでユーザー設定ファイルが変なところにある。普通はC:\Users\ユーザー名\AppData\Roaming\Sublime Text 2\Packages\Userにあるはず。これをTools→BuildSystemから選んで、Ctrl+Bでスクリプトが起動できるようになる。 OpenGLのエラーが出る場合は素直にビデオドライバの型番をしらべてメーカーから最新版をダウンロードする。WindowsUpdateのドライバーではNVIDIA FX580でエラーになった。

Google日本語入力とSublime Textの相性が悪い問題が解決！

Sublime Textは開発者がオーストラリア人のJon Skinnerさんで、Gtkをベースにした独自のGUIでできているらしいのでやはり日本語に弱く、日本語IMEを使うと入力中の日本語がカーソルのある位置でインライン表示されずに画面左上あたりに表示されてしまう問題がある。

これはIMESupportという素晴らしいプラグインのお陰でちゃんとした位置に表示されるようになるんだけども、Google日本語入力では”ひらがなモード”から”Direct inputモード”にしてアルファベットを入力しようとすると入力モードの[あ]とか[A]とかのインライン表示が常にカーソルを追いかけて来てしまう。EmEditorなど日本語対応している他のエディタだとIMEの切替時や入力モードの切替時に一度表示されておしまい。

MS-IMEならこの問題はないが、とてもおかしな変換ばかりするので使い物にならない。ATOKは好きでダウンロード販売で買ってずっと使っていたが、インストーラーのファイルがどっかに行ってしまい、再ダウンロードしようとしたら期限切れだそうで、バカバカしい。

普段はプログラミングにアルファベットを入力することの方が多いがデフォルトのIMEを英語に設定しても必ず日本語のDirect inputモードに戻ってしまうので、このインライン表示が非常にうっとおしい。

どうにかならないかとGithub上のIMESupportプラグインのコードを眺めていると割りと短い綺麗なコードでこれならハックできるかもしれないと思い色々やってみたら、二行コメントアウトするだけで見事に問題が解決出来てしまった。詳細はプールリクエストしていますが、imesupportplugin.pyの162行目あたり、上の画像のifのブロックをコメントアウトするだけです。このファイルは通常はC:\Users\ユーザー名\AppData\Roaming\Sublime Text 2\Packages\IMESupportにあるはずです。

Sublime TextのプラグインってPythonなのでとてもハードルが低かった。なんか作ってみたくなった。

np.ones_like, np.zeros_likeでboolアレイの初期化。

覚書です。

array1 = np.zeros((w,h))

なんかであらかじめプリアロケーションしたゼロ行列を作ることはよくありますが、ブーリアンのときはどうやるとスマートなのかと思って調べました。

bool値で満たされた行列の初期化

私の場合、既にあるmyarrayと同じ次元のマスクが欲しい時は

mask = np.ones(myarray.shape, dtype=np.bool) * False

でFalseの部分を必要に応じて変えて急場をしのいでましたが、

どうせmyarray.shapeってやるならnp.ones_likeをつかって

mask = np.ones_like(myarray, dtype=np.bool) * False

と書くべきだし、ones_likeだとTrueの行列になるので

mask = np.zeros_like(myarray, dtype=np.bool)

がスマートな方法っぽい。

boolに限らずもっと一般的な方法としてはあまり使ったことなかったけどnp.full_likeというのがあって、第二引数の値で満たされた行列を作れる。

mask = np.full_like(myarray, Flase, dtype=np.bool)

または

mask = np.full_like(myarray, True, dtype=np.bool)

nanで満たされた行列の初期化

np.full_likeを使うとnanで満たされた行列の初期化がスマートになります。

mask = np.full_like(myarray, np.nan)

でいけます。いままではnp.onesにnp.nanをかけていたけどこっちのほうがスマートですね。

np.emptyはいつ使うのか

np.zerosに似たnp.emptyは初期化しないでメモリだけ確保するので、次元とデータ型は正しいが、確保されたメモリに残っているめちゃめちゃな値の行列ができる。全要素を上書きするのが確定している場合にはいいけど、忘れそうで危険なので使わないことにしている。そこまでパフォーマンスにこだわる状況っていまのところあまりない。

matplotlibの図をBMPとしてクリップボードにコピーする関数作った。

よくデータ解析しているとmatplotlibでfigure(facecolor='w')にしてプロットした図をウィンドウズのSnipping toolでクリップボードにコピーして、パワーポイントに貼って、ノーテーションしたりするわけですが、これが何度も続くと面倒い。

ぐぐってみたらwxのバックエンドではツールバーにクリップボードにコピーするアイコンを追加するハックがあった。残念ながらこのパッチはマージされなかったようで、1.4.2でもクリップボードにコピーできない。

で、やっぱり自分で作る。

matplotlibのデフォルトのバックエンドはいまQt4Aggだと思うのでQtでやるにはどうしたら良いのかなとぐぐってみたら、こんな質問があって、もしウィンドウズならwin32clipboardつかってみたら？という回答があったのでやってみた。

使い方

なんかmatplotlibでプロットしたらこの関数を引数なしでcopy2clipboard()としてやれば現在フォーカスがある図をBMPとしてクリップボードにコピーします。もしくはfigのインスタンスをfig=figure()のようにして取得してからプロットして、copy2clipboard(fig)のように使います。エディターにプロット用のスクリプトがあってなんどもプロットする場合、tight_layout()とかの後にこの関数を置いておくと一手間省けるという感じです。力技ですが、一応つかえます。

bibtexマネージャーを作ってみる。その2：wxPython3.0でwx.lib.agw.auiを使う。

作り始めて３日目のスクリーンショット。現在コメントやICONのリソースのバッファ２１行を含めて２６５行。

さて、いろいろな空き時間にコーディングして、とりあえず使えるものが出来ました。

上にあるスクリーンショットで、authorのところの下矢印はAuthorカラムでの昇順でのソートを示しています。他のカラムをクリックしてタイトルでソートしたり yearでソートしたりできます。listmix.ColumnSorterMixinをつかったので、とっても楽に出来ました。

右クリックメニューから選択中の論文でsublistを作って新しいタブに開いたり、PDFビュワーで一度に開いたりもできます。左端のPDFアイコンはbibtexの'file'タグにあるファイルパスが指定されているもの。

あとは開いたタブを次回起動時に覚えているようにすれば最低限の自分が使えるものは完成です。wxPythonはやっぱり簡単でいいなぁ。

wx.auiとwx.lib.agw.auiの違い

今まではwxPython2.8の安定版をづっと使ってきましたが、最近wxPython3系統が正式にリリースになったのでPython2.7.5とwxPython3.0.0.0で作っています。

bibtexファイルを同時に複数開いた時に、それぞれをタブとして持ちたいので、これには以前カルシウムイメージングのROIドローイングソフトPymagorを作ったときに一度つかったAdvanced User Interface library （AUI）のwx.aui.AuiNotebookを使いました。

AUIは、Advanced User Interface libraryの略で、見た目もスタイリッシュでかっこ良いwxの中のサブライブラリです。

wxPython demoでauiをみてみるとwx.auiではなくってwx.lib.agw.auiを使っている場合が多い。どう違うんだっけと思って調べると、この質問によると

wx.lib.agw.aui is a re-implementation of wx.aui using only Python code.

だそうで、同じ機能+アルファをPython版で提供しているものらしい。基本的にwx.libにあるものは全部Pythonバージョンらしい。
試しにwx.auiで作り始めたアプリをwx.lib.agw.auiに差し替えたところ問題なく動作したので、ちゃんとAPIも互換しているらしいし、+アルファの部分が嬉しい。例えばwx.aui.AuiNotebookにはSetRenamableというメソッドがないが、agwの方にはこれがあるので、タブの名前をがダブルクリックで変えられるようにするのが一行でできてしまった。

wx.lib.agw.auiのAGWとはAdvanced Generic Widgetsのことで、AUIを含めていろいろなちょっと高度なウィジェットが提供されています。APIがwxPythonのバージョン３系（Phenix）のDocにあったのでメモ。見つけるの大変だったが、これで安心してwx.auiから乗り換えられそう。。wxPython3も今のところまったく問題がないです。

bibtexマネージャーを作ってみる。その１：BibtexParserを使う。

JabRefやCiteulikeを長く使ってきましたが、以下の機能が欲しいのでCiteulikeを補完するツールとして自分用bibtexマネージャーを作ってみようと思います。

欲しい機能

シンプルなJabRefのインターフェイスっぽいもの。
タブグループマネージャー機能。Bib managerから、いくつかの関連する文献をまとめて複数のタブとしてPDF Viewerで開いたり、グループを切り替えたりしたい。
ポータブルなアプリでDropboxに入れて置けると一番良い。
JabRefみたいに選択した論文をいろいろな雑誌のReferenceのフォーマットでワードに貼ればいいだけなリッチテキスト形式として出力したい。Citeulikeでは有料オプション。
bibtexのインポートをサポート（当たり前）
フリー

まずはすでに条件を満たすPythonでできたツールがないかググる。Pythonを使ったものはコマンドラインツールばっかり見つかる。

biblio-py

yapbib: Yet Another Python BIBliography manager toolというコマンドラインツールがメインプログラム。bibextract.pyではLaTex中で引用した論文のリストとか得られるようだ。

BibtexManager-Python

https://github.com/MasterOdin/BibtexManager-Python
コマンドラインツール。bibtextエントリーをPretty printする感じ。

BibReview

https://pypi.python.org/pypi/BibReview

やっと見つかったGtKアプリ。JabRefのインターフェイスとはかなり違う感じ。

Pybliographer

http://pybliographer.org/Welcome

GNOMEがターゲットのようなのでLinuxオンリーか。Windowsに移植するのもつらそう。見た目は好きなんだけど。

結局なさそうなので自分で作る。

計画としては、

新しい論文を見つけた時はすでにウェブブラウザを開いてそのページを開いているわけで、これをCiteulikeに追加するまではCiteulikeのarticleインポーターが秀逸なので、これを使う。

ただし、Citeulikeのインターフェイスはカスタマイズに限界があり自分好みにはできなかったので、JabRefっぽい使い勝手のフロントエンドGUIを慣れたwxPythonでサクッと最低限必要なものだけ作る。

やはり自分の好きなPDFビュワーで論文を開いて、蛍光ペンツールを使ったりしたいのが、ウェブアプリケーションだと読みたい論文のPDFをPDFビュワーで開く部分が難しい。あとは孫引きしたりされたりしている関連する論文も一緒に開く場合が多いので、これをグループにして登録し、まとめて開いたりしたい。ここまではやればできる。

欲を言えば、このグループの論文に対しての著者が同じとか、孫引きされているとかキーワードの相関が高いとかから関連性の順位を決定し、これでLibraryをソートできたりすると素晴らしい。Citeulike上のライブラリが大きくなってくるとすでに登録してある論文を見つけるのに苦労するので、この辺をできるようにするのが最大のモチベーション。

CiteulikeからBibTexを手動できれば自動でライブラリをインポートしてCiteulikeのフロントエンドとして使いたい。bibtexの読み込みはいろいろライブラリがあるので、いいのを選ぶ。

BibtexParser

https://bibtexparser.readthedocs.org/en/latest/

これをつかってJabRefやCiteulikeからインポートする計画。

pip install bibtexparser

Pure pythonモジュールっぽいし、pipでインストール。

チュートリアルを読むとbibtextの読み込みは簡単で、

import bibtexparser
with open('bibtex.bib') as bibtex_file:
    bib_database = bibtexparser.load(bibtex_file)

このbib_databaseオブジェクトをdumpしてbibtexファイルにエクスポートも簡単。

bibtex_str = bibtexparser.dumps(bib_database)

bib_databaseクラスのメソッドをみてみるとentriesで各論文エントリーのメタデータがdictになった要素をもつリストとして格納されているようだ。

しかし、エントリーをデータベースに追加したり削除、マージするAPIが用意されていない上、最終的にエクスポートするにはbib_databaseオブジェクトが必要なので編集できないのは困った。

しょうが無いのでbibdatabaseクラスを定義しているソースを覗き見するとクラスはえらく単純。

newBibDb = bibtexparser.bibdatabase.BibDatabase()

newBibDb.entries = sublist

という感じで、自分でエントリー追加・削除したリスト（sublist）をつくって、新しくインスタンス化したbibdetabaseクラスオブジェクトのself.entriesを上書きしてやればいいと見通しがついた。これでdumpでエクスポートできるはず。

この質問をみるとpybtexというライブラリもあって、こっちでは一応追加・削除とかできそうだが、http://pybtex.sourceforge.net/の方のドキュメンテーションが未完成かつ古いのでメンテイナーがどっか入ってしまったパターンかもしれないので、ドキュメンテーションがかっこいいbibtexparserで頑張ることにする。

ランチャー部分の実装

subprocessモジュールを使って簡単にグループタブを開く部分を実装してみる。

import subprocess
from time import sleep

def PDFopen(files, 
            libraryPath = 'C:\\Dropbox\\PathToYour\\PDFs'
            execPath = r'C:\Path2\PDF-XChangeViewerPortable.exe'
            ):
    
    if type(files) is not list:
        raise ValueError('The first arg should be a list containing more than one file path')
        return

    P = subprocess.Popen([execPath, files[0]])
    sleep(2) # wait until the instance is ready for more files

    for pdf in files[1:]:
        P = subprocess.Popen([execPath, pdf])


if __name__ == '__main__':

    files = [
    'Einstein1997.pdf',
    'Heisenberg2005.pdf',
    'Kandel2009.pdf',
    'Galileo1662.pdf',
    ]
    PDFopen(files, libraryPath)

こんなのでとりあえずやりたいことができた。ぶっちゃけこれだけあれば十分・・・。
さて、あとはGUIなので次回はwxPythonの話。