2009-11-02 Mon
自然言語処理は農業に似てるかも
自然言語処理と呼ばれる技術で問題を解いていて最近思うことは、
全く同じ問題に出会わないなぁ、ということです。
幸いなことに、ある程度似てる問題は頻繁に見つかります。
なんで完全に同じ解き方で解ける問題が見つかりにくいのでしょう。
それは、たぶん、人間が生み出す言語情報を扱っているため、だと思います。
自然言語処理技術では主にテキストデータを扱いますが、そのデータはどんなに自動生成的なデータでも、元々は人間が作ります。
たとえばブログサービス上では、膨大な量のブログ記事を多数の人間が各自が好きなように生成しています。
ユーザがどんな文章を書くか、どんな話題を扱い、どんなふうにカテゴリ分けするのかなどの要素は、
技術者がデータを処理する手法を選ぶ際に、必ず考慮するべきです。
ですが、これらの要素は事前にコントロールできません。
また、ある時点でダンプしたデータからも、なかなか傾向を完全に正確には見いだしにくいです。
そのため、各データについて、各時点における最も有効な手法を考案することは、毎回全然違う作業になりますし、僕の経験上では難しい(というか時間のかかる)作業です。
どうやったら、よりよく、より速く問題を解けるのでしょうか。
たぶん、沢山勉強をして、最新の情報を仕入れ続け、問題を解きまくる、しか無いと思います。
多くのタスクでは、形態素解析してtokenの頻度を合計して終わり、だけで欲しい結果を得られるケースは少ないと思います。
一方で大量のデータを眺めていると、人間は賢いので、自分の脳の中でデータが持っている傾向がつかめたりするものです。
そのため技術者・研究者が手法を考案する際には日々の鍛錬の成果と経験の量が大切になります。
なんとなく考案された手法の良さの良さは、
「手法の最適さ = α * log(経験量) + β * exp(鍛錬) 」
のようにになっている気がします。αとβには個人差があると思います。
10人の自然言語処理屋がいたら、たぶん10通りの解き方が生まれると僕は思います。
また、他人の選んだ手法が最適かどうかを考える能力も、同じように個人差があると思います。
こういう設定って、農業にすごく似ているなと僕は思っています。(細かいことは全部省きます)
個人的にはexpの跳ね上がる瞬間をまだ経験できていない気がします。
今後も、良い出力結果を得るために努力を続けていかないとな。。
Mac OS X 上で MikuInstaller.app と Wine を使って Windows アプリを起動
増田で人気な記事で紹介されている P-Study System という Windows アプリを Mac OS X 上で動かしてみたいと思ったので、動かしてみました。
- 急がばまわれ式・堅実で一番効率的な英語の勉強法
-- http://anond.hatelabo.jp/20091026215137
http://www.takke.jp/
このソフトウェアは神、いわゆるゴッド。
忘却曲線理論とやらを参考にしていて、ゲーム感覚で効率的に単語が身に着くソフト。
起動方法は、Wine を一回も試したことがなかったので起動する手法を Wine に決定!
Wine をそのまま使わずに、MikuInstallerを使う事にしました。
- MikuInstaller
-- http://mikuinstaller.sourceforge.jp/
用意するアプリはP-Study Systemじゃなくても良いです。
僕も、数種類のアプリを試しました。
その中で、とあるVB6のランタイムに依存してるアプリを起動出来ませんでした。
いろいろ試したのですが、何か足りないみたいなのです。。。
なので、最初はVB6ランタイムに依存してないアプリで試してみて下さい。
必要なもの
- MikuInstaller.app
-- 公式ページで配布しているMikuInstallerは2008年から更新が停止している。そのためWineのバージョンが大分古い。
-- 今回は公式配布のMikuInstallerの最新版に組み込まれているWineを、バージョンが新しめのWineに置換している野良パッケージを使った。
- MikuinstallerのDarwineをアップグレードしてみる(その2) - 鍵屋的日記(鍵屋のブログ)
-- http://d.hatena.ne.jp/kagiya/20090813
またまた返信が送れてしまってすいません。
ご返事のありがとうございます。
その更新したファイルは(http://firestorage.jp/d/2cyjc3)の方にありますのでぜひダウンロードしてください。
- Windows 上でインストールした P-Study System のフォルダ
-- http://www.takke.jp/
インストールと起動の手順(アバウトに)
- 事前にX11をインストールしておく
- MikuInstaller.appをアプリケーションフォルダに放り込む
- MikuInstaller.appをダブルクリック → Wineが入ってMikuInstaller経由でWineと関連づく
- 起動したいWindowsアプリ or インストーラーがWineと関連付いていることを確認する
- 起動したいWindowsアプリ or インストーラーをダブルクリックして起動する
- 以下は普通のWindowsアプリと同じ
アプリによって、上手にインストーラーが動く場合と動かない場合があります。
また、Windowsでアプリをインストールしたフォルダを丸まるコピーしたのに上手く動かない場合があります。
いろいろ原因があるみたいですが、以下を試してみるのが解決に向けた最初の手だと思います。
P-Study System は Wine でインストールできないし、解凍してコピーするだけでは起動できないし、という状態でした。
インストーラーが上手に動かない or アプリの起動時に何かが足りないと言われる場合にやること(アバウトに)
-- Windowsで、目的にアプリをインストールする
-- アプリを一回起動して、必要なファイルやフォルダを生成する
-- アプリがインストールされたフォルダを丸ごとMacにコピーする
上記のようなことをやると、Leopard では P-Study System が動きました。やった!
from overlast
今後もどうしてもWindowsアプリを起動する必要があるときは、Wineを試してみようと思います。
でも、使ってみたところ、Wine は万人にオススメできる解決方法ではないですね。。
難しいことが苦手な方には VMware Fusion を購入して Windows をインストールした環境を作ることをオススメします。
VMwareなら一回インストールできてしまえば、ほとんどトラブルが無いと思います。
恵比寿 上海食堂 レバニラ定食
ブラリと上海食堂に来ました。
元気が出る食事を食べようと思って、レバニラ定食を食べることに。
from overlast using Panasonic DMC-FX100
おいしいなぁ。
最近は週末に中華を食べるので、平日は中華を避けるようになったりしてます。
起きたら昼過ぎ
週末に取れなかった疲れがドっと出たためか、昼過ぎまで全く目覚めず寝たのでした。
外に出てみたら、もうこんなに空が暗くて脱力。
from overlast using Panasonic DMC-FX100
こういう日は極力減らしたいし、風邪はほとんど治ったので、
今日を境に気合いを入れ直します。




