2015年10月30日金曜日

Macでpython3の環境構築9---Scipyのインストール---

今回はScipyのインストールをする。

参考書として手元に置いてある『パーフェクトpython』では、gfortranとswig（とそれに必要なPCRE)というものを先にインストールしているようだが、ネット上ではswigをインストールしているものはあまり見かけなかった。

swigとはなにか調べてみると、pythonの中でC/C++を呼び出すためのライブラリのようだ。

特にswigは必ずしも必要ではないようだったので、とりあえずScipyだけインストールすることにした。

gfortranのインストール

ということで、まずはgfortranのインストールをする。
次のように打つ。

hiroshi-no-MacBook-Air:~ hiroshi$ brew install gfortran      #「brew install gfortran」と打ってreturnを押す。

するとこんなメッセージがでてきた。

GNU Fortran is now provided as part of GCC, and can be installed with:
  brew install gcc

gfortranはgccの一部として提供されている。brew install gccとすればインストールできます、と表示されているので素直に指示に従ってみる。

hiroshi-no-MacBook-Air:~ hiroshi$ brew install gcc      #  「brew install gcc」と打ってreturnを押す。

そうすると、処理が始まる。

==> Installing dependencies for gcc: gmp, mpfr, libmpc, isl
==> Installing gcc dependency: gmp
==> Downloading https://homebrew.bintray.com/bottles/gmp-6.0.0a.yosemite.bottle.
######################################################################## 100.0%
==> Pouring gmp-6.0.0a.yosemite.bottle.tar.gz
🍺  /usr/local/Cellar/gmp/6.0.0a: 15 files, 3.2M
==> Installing gcc dependency: mpfr
==> Downloading https://homebrew.bintray.com/bottles/mpfr-3.1.3.yosemite.bottle.
######################################################################## 100.0%
==> Pouring mpfr-3.1.3.yosemite.bottle.tar.gz
🍺  /usr/local/Cellar/mpfr/3.1.3: 24 files, 3.6M
==> Installing gcc dependency: libmpc
==> Downloading https://homebrew.bintray.com/bottles/libmpc-1.0.3.yosemite.bottl
######################################################################## 100.0%
==> Pouring libmpc-1.0.3.yosemite.bottle.tar.gz
🍺  /usr/local/Cellar/libmpc/1.0.3: 10 files, 380K
==> Installing gcc dependency: isl
==> Downloading https://homebrew.bintray.com/bottles/isl-0.14.1.yosemite.bottle.
######################################################################## 100.0%
==> Pouring isl-0.14.1.yosemite.bottle.3.tar.gz
🍺  /usr/local/Cellar/isl/0.14.1: 68 files, 3.2M
==> Installing gcc
==> Downloading https://homebrew.bintray.com/bottles/gcc-5.2.0.yosemite.bottle.1
######################################################################## 100.0%
==> Pouring gcc-5.2.0.yosemite.bottle.1.tar.gz
==> Caveats
GCC has been built with multilib support. Notably, OpenMP may not work:
  https://gcc.gnu.org/bugzilla/show_bug.cgi?id=60670
If you need OpenMP support you may want to
  brew reinstall gcc --without-multilib
==> Summary
🍺  /usr/local/Cellar/gcc/5.2.0: 1353 files, 248M

で、確認のためもう一度同じコマンドを打ってみる。

hiroshi-no-MacBook-Air:~ hiroshi$ brew install gcc      #「brew install gcc」と打ってreturnを押すと、、、
Warning: gcc-5.2.0 already installed       #  すでにインストールされてますよ、と出る。

gfortranのインストールはこれで完了。

Scipyのインストール

gfortranのインストールさえしてしまえば、あとはほとんどやることはない。

「pip3 install scipy」とするだけだ。

hiroshi-no-MacBook-Air:~ hiroshi$ pip3 install scipy      #  「pip3 install scipy」と打ってreturnを押すと下の行からの処理が始まる。
You are using pip version 7.1.0, however version 7.1.2 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.
Collecting scipy
  Downloading scipy-0.16.0-cp34-cp34m-macosx_10_6_intel.macosx_10_9_intel.macosx_10_9_x86_64.macosx_10_10_intel.macosx_10_10_x86_64.whl (19.7MB)
    100% |████████████████████████████████| 19.7MB 19kB/s
Installing collected packages: scipy
Successfully installed scipy-0.16.0

「Successfully installed scipy-0.16.0」と出ているので無事インストール終了。

でもさ。少し疑問。

gccってXcodeをインストールしたときに一緒にインストールしなかったっけ？それとは違うのか？

わかる人いたらご教示ください。

参考にしたページや文献・書籍
WikipediaのSwigページ

PythonのC言語拡張モジュール作成ガイド

Welcome to underground

C++とPythonのコラボレーション SWIG連携による実行速度効率化

SciPyとmatplotlibのインストール(Python)

GCCwiki

Mavericksでpython環境構築ではまったメモ

WikipediaのGNUコンパイラコレクションのページ

WikipediaのXcodeのページ

WikipediaのGfortranのページ

Mac OS X 10.9.4にpython2.7開発環境+scikit-learn実行環境構築

2015年10月28日水曜日

csvファイルの扱い2---pythonを使って読み込み---

今回はpython3でcsvファイルを読み込む手順などについて書いていこうと思います

csvファイルの準備

前回、使用したファイルを流用して、次のようなcsvファイルを使うことにします。
#下の枠の中の内容だけをテキストファイルにかいて、名前を「（なんか適当な名前）.csv」で保存する。ここでは、sample.csvにしてます。

3,2,7,8
5,11,1,5
13,4,2,3

csvファイルの読み込み（と表示）

まず、一番シンプルな、「読み込んで、内容を表示する」だけの処理は、もうすでにたくさんの他の人のブログやサイトなどでも紹介し尽くされているような気もしますが、こう書くそうです。

#  ややくどいというか、冗長な補足かもしれませんが、import csv以下の内容をテキストファイルに書いて、「（適当な名前）.py」で保存。ここでは、一応「open.py」。そして、先ほど用意したsample.csvのファイルと今のopne.pyのファイルは同じフォルダ（ディレクトリ）に置いておく。

import csv
f = open("sample.csv")
reader = csv.reader(f)

for row in reader:
 print(row)

f.close()

先ほど用意したsample.csvのファイルと今のopne.pyのファイルは同じフォルダ（ディレクトリ）に置きます。
そしてターミナルにて、カレントディレクトリをsample.csvとopen.pyが置いてあるフォルダに移動します。
そうしたら、またターミナルで次のコマンドを打つとcsvファイルの中身が表示されます。

（$のマークより前は中略・・・）$ python3 open.py    # 「python3 open.py」と打ってreturnを押す。

とすると、

['3', '2', '7', '8']
['5', '11', '1', '5']
['13', '4', '2', '3']

csvファイルの列だけ抽出

上の実行結果をみて推察されるように、csvファイルとして読み込むと、「各行を要素にもつリスト」として読み込まれます。（その各行それぞれもリストなわけですが。リストを要素にもつリスト、ということ）

いや、読み込まれます、とかいってますが、自分はあまりリストとイテレータの違いがよくわかっていません。
もしかしたら「イテレータとして読み込まれます」という表現が正しいのかも知れませんが、ここではとりあえずそのあたりには触れないようにします。
どなたか説明できる方がいれば教えてください。

なので、

import csv
f = open("sample.csv")
reader = csv.reader(f)

for row in reader:
    print(row[2])

f.close()

とすれば、実行結果は

7
1
2

となります。

言葉で表現するとやや紛らわしいですが、あえて表現してみると、「各行」がそれぞれリストの要素になっているわけですが（各行それ自体もリスト）、各行から3番目の要素を取り出す（くどいですが、誤植ではないです。3番目の要素。）という操作を各行に対して行う、という意味です。

readerオブジェクトの型と属性を調べてみる

上の部分で「「各行」がそれぞれリストの要素になっているわけですが」とか書いてますし、ネット上のドキュメントを読んでもそう書いてはあるのですが、書いてあるからと信用できないのが自分。

自分で確認できたことになるのかどうかすらも不明ですが、わからないなりにやるだけやってみました。

型を調べる

type関数を使うらしいです。

こんなコードを書いてみます。

import csv
f = open("sample.csv")
reader = csv.reader(f)

for row in reader:
 print(row)

print(type(reader))

f.close()

実行するとこうなります。

['3', '2', '7', '8']
['5', '11', '1', '5']
['13', '4', '2', '3']
     #この部分がtype関数に対する実行結果。

持っている属性を調べる

属性を調べるのはdir関数です。
先のコードに追加して次のようなコードにします。

import csv
f = open("sample.csv")
reader = csv.reader(f)

for row in reader:
 print(row)

print(type(reader))

for e in dir(reader):
 print(e)
f.close()

実行すると、次のようになります。

['3', '2', '7', '8']
['5', '11', '1', '5']
['13', '4', '2', '3']

__class__             #  この行より以下がdir関数に対する実行結果。
__delattr__
__dir__
__doc__
__eq__
__format__
__ge__
__getattribute__
__gt__
__hash__
__init__
__iter__
__le__
__lt__
__ne__
__new__
__next__
__reduce__
__reduce_ex__
__repr__
__setattr__
__sizeof__
__str__
__subclasshook__
dialect
line_num

参考にしたページ・文献・書籍
CSVの解説と各プログラミング言語での実装例

Python で変数の型 (クラス) を調べる – types モジュール

Pythonでcsvファイルを読み込む

ライブラリ：csv

Python 3.2 での数値 csv データの読み込み

CSV ファイルの読み書き

PythonでCSVファイルを扱う

PythonでCSVファイルを読み書きする方法

Pythonの基礎　ファイル(CSV)を読み込む編

Comma-Separated Values

オブジェクトが持っている属性を調べる

オブジェクトの属性を取得

12. Pythonのアトリビュート

代官山散歩♪

目的地がない状態でただただ散歩するより、目的地を決めつつも寄り道しながら散歩するのが好きです。

事情があり当日中に更新できなかったので、先日のことになりますが代官山を歩いてきました。

疲れてたため、お昼頃起きて、お昼を食べたあとコンタクトを買ってから代官山へ向かったので、夕方頃からの出発でした。

一応目的地はquadroというお店に行くことでした。洋服の下見をするためです。

以前、恵比寿でバッグを購入したときに系列店として紹介されていたお店です。

大手で買うのもいいけれど、セレクトショップというものも行ってみたいなと思っていたので、冬を前にして手始めに紹介されていた店に行こうとしていました。

特に理由はないのですが、バッグを購入した店が恵比寿にあったので、散歩も兼ねて恵比寿から歩いてみました。

そうすると、恵比寿から代官山近辺はお洒落なお店がたくさんありました。

独特の雰囲気をもっているお洒落な街でした。銀座もお洒落だけど、それとはまた違う雰囲気です。

歩いている人たちも洗練されていました。

高級感があるけど、居づらくないというか。もっと落ち着いた雰囲気といったところでしょうか。ここに住んでみたい〜！！

蔦屋書店の場所もどこにあるか知らなかったのですが、今日たまたま前を通って場所を知りました。

個人的に気になったのはと紅茶専門店のルピシアという店とCarbootsという洋服屋さんとJay Haideというブランドを扱っているバイオリン屋さん？です。

Carbootsはたまたま前を通っただけで、どんな服を売っているのか全然みてはいませんが、帰って調べてみたら女性向けの洋服屋さんなのか。。。？

セレクトショップがかなりたくさんあることを発見したので、今日は夕方からだったのであまり見て回れませんでしたが、時間のあるときにまた来てみたいです。

2015年10月11日日曜日

英検を受けてきました。

今日は英検を受けに行ってきました。

２級。レベル的には、高校卒業程度ってことらしいので、今更な感ありますが。

でも実際、会場は年齢問わずいろんな人がいました。

中学の時に３級を取って以来、全く受けておらず。資格とかもなにもないので、手始めに受けてみようかなと思って受けてみました。

今回、本当に特に英検に特化した対策はなにもせずに行きました。
普段から多読は行っているし、TOEFL対策などはガッツリやったこともあるので、その状態でどんな感じになるのか試してみました。

想像してたよりは簡単でした。想像してたよりは、ですが。

もっと手も足もでないかと思ってました。

今回合格しているかどうかは微妙な手応えですが、もし落ちていたとしても次回十分に対策をすればいける気がしました。

ところどころ、意味があやふやな単語もちらほらあったので、そこは今後の課題ですね。

ちなみに、今月はTOEICも受ける予定。今更特化した対策はするつもりはないですが、英語には触れていようと思います。

2015年10月7日水曜日

csvファイルの扱い1---スプレッドシートやExcelとの絡みにて---

csvファイルについて調べたことを書いてみようと思います。

もともとの目標は、pythonなどのプログラミング言語でcsvファイルを扱う方法について調べようと思っていたのですが、もう少し基本的なことまで遡ってcsvファイルの扱い方について調べてみました。

csvファイルとは

そもそもなんなのか、という部分については検索すれば丁寧な解説がたくさんでているので、そちらへ譲ります。

要するに、windowsでいえばメモ帳、Macでいえばテキストエディタとかに書かれていて、カンマで区切られて書かれている

こういうファイルです。

これを、例えばExcelとか、もともとは表形式で作成したデータを、テキストファイル形式にして、他のアプリケーションとやりとりをしやすくします。

表形式のデータだと、ExcelとExcelの間のやりとりなら、まだいいとしても、他のソフトとやりとりをしようと思うと、ファイルの形式が合わず、うまくいきません。

データそのもの（つまりExcelの場合でいえば、各セルに入力されているデータ）以外にも、体裁を整えるための余分なデータがくっついてしまっているので。

で、データの基本的な部分だけ残して作ったものが、csvファイルです。

スプレッドシート→csvファイルの作成

Excelをあまり使ったことがないのでわかりませんが、おそらくExcelでも基本的には同じだと思います。

ここでは、Googleドライブのスプレッドシートからcsvファイルを作成します。

サンプル用のデータとして、次のようなデータを用意します。

データを作成したら、画面左上の「ファイル」をクリックし、「形式を指定してダウンロード」→「カンマ区切りの値(.csv、現在のシート)」を選んでクリックします。

クリックをすると、すぐにダウンロードされます。

普段ダウンロードされたデータが入る場所をみると、「.csv」のファイルができています。

今はMacを使っているので、「ダウンロード」というフォルダの中に入りました。

そのままcsvのデータを開くと、Excelとかデフォルトで指定されているソフトで開かれてしまうと思うので、どのソフトで開くかを指定します。

Macの場合であれば、

ここをクリックすると、

「このアプリケーションを開く」にマウスを合わせ、

「テキストエディタ」をクリックします。

そうすると、テキストエディタで

このように書かれたデータが表示されます。これがcsvファイルです。

csvファイル→スプレッドシート

具体的な操作手順に関してはいろいろあると思いますが、今回は次のような方法でいきます。

新規にスプレッドシートを開き、画面左上のメニューから「インポート」を選びます。

新しく出てくる画面で、アップロードを選び、画面の指示通り、該当のファイルを直接ドラッグするか、パソコンのから該当のファイルを選んで指定します。

そうすると、左下の「選択」のボタンが押せるようになるので、クリックします。

そうすると次のような画面がでます。

ここで操作を選びます。

インポート操作のところは、

新しいスプレッドシートを作成する
→今開いているスプレッドシートとは全く別に新規にスプレッドシートを開き、そこにcsvファイルを読み込み。

新しいシートを挿入する。
→現在開いているスプレッドシートで、新しいシートを追加し新しく追加したシートにcsvファイルを読み込み。

スプレッドシートを置き換えする。
→現在のシートにそのままcsvファイルを流し込む。（それ以下の三つと混同しやすい表現ですが。。。）

それ以下三つの選択肢はやや説明が面倒なのでしません。

区切り文字の方は、文字通り「データの区切りの記号はなににしているか」です。

ここは「自動的に検出する」か、「カンマ」にします。csvですのでね。

「タブ」もあるのは、世の中にはcsv(Camma Separeted Value)に対して、「タブ」で区切られてるtsv(Tab Separated Value)なるものもあるからです。

それで読み込みをすると、こうなって無事読み込めます。

ちなみにcsvファイルを読み込むのに、区切り文字に「タブ」を選択すると、次のようになります。

これは、区切り文字は「タブ」と指定しているので、「タブ」がデータの区切りになっているわけです。

つまり、タブが現れるまでは一塊のデータです。

一方、csvと同じように改行コードがくれば、行が変わります。

csvファイルをtsvとして読み込むと、タブが来る前に改行コードが来ているので、一行目が、丸々ひとつのデータをして扱われ、改行コードにて次の行に読み込まれているわけです。

次回は、csvをpythonやCで扱う方法について書いてみようと思います。

参考にしたページや文献・書籍
Camma-Separate-Value(wikipedia)
CSVてなに？|どんと来いCSV for Excel (SILAND.jp)

2015年9月23日水曜日

Macでpython3の環境構築8---NLTKのインストール2---

前回の続きです。
（前回:Macでpython3の環境構築7---NLTKのインストール1---）

nltk.download()とコマンドを打ってもうまくいかないというお話でした。

これは次のようなコマンドでも代替できるようです。

hiroshi-no-MacBook-Air:~ hiroshi$ python3 -m nltk.downloader book                
#  「python3 -m nltk.downloader book」と打ってreturnを押す。

そうすると、次のような処理が始まります。

[nltk_data] Downloading collection 'book'
[nltk_data]    |
[nltk_data]    | Downloading package abc to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Package abc is already up-to-date!
[nltk_data]    | Downloading package brown to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Package brown is already up-to-date!
[nltk_data]    | Downloading package chat80 to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Package chat80 is already up-to-date!
[nltk_data]    | Downloading package cmudict to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Package cmudict is already up-to-date!
[nltk_data]    | Downloading package conll2000 to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Package conll2000 is already up-to-date!
[nltk_data]    | Downloading package conll2002 to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Package conll2002 is already up-to-date!
[nltk_data]    | Downloading package dependency_treebank to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Package dependency_treebank is already up-to-date!
[nltk_data]    | Downloading package genesis to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Package genesis is already up-to-date!
[nltk_data]    | Downloading package gutenberg to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Package gutenberg is already up-to-date!
[nltk_data]    | Downloading package ieer to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Package ieer is already up-to-date!
[nltk_data]    | Downloading package inaugural to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Package inaugural is already up-to-date!
[nltk_data]    | Downloading package movie_reviews to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Package movie_reviews is already up-to-date!
[nltk_data]    | Downloading package nps_chat to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Package nps_chat is already up-to-date!
[nltk_data]    | Downloading package names to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Package names is already up-to-date!
[nltk_data]    | Downloading package ppattach to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Package ppattach is already up-to-date!
[nltk_data]    | Downloading package reuters to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Package reuters is already up-to-date!
[nltk_data]    | Downloading package senseval to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping corpora/senseval.zip.
[nltk_data]    | Downloading package state_union to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping corpora/state_union.zip.
[nltk_data]    | Downloading package stopwords to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping corpora/stopwords.zip.
[nltk_data]    | Downloading package swadesh to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping corpora/swadesh.zip.
[nltk_data]    | Downloading package timit to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping corpora/timit.zip.
[nltk_data]    | Downloading package treebank to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping corpora/treebank.zip.
[nltk_data]    | Downloading package toolbox to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping corpora/toolbox.zip.
[nltk_data]    | Downloading package udhr to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping corpora/udhr.zip.
[nltk_data]    | Downloading package udhr2 to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping corpora/udhr2.zip.
[nltk_data]    | Downloading package unicode_samples to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping corpora/unicode_samples.zip.
[nltk_data]    | Downloading package webtext to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping corpora/webtext.zip.
[nltk_data]    | Downloading package wordnet to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping corpora/wordnet.zip.
[nltk_data]    | Downloading package wordnet_ic to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping corpora/wordnet_ic.zip.
[nltk_data]    | Downloading package words to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping corpora/words.zip.
[nltk_data]    | Downloading package maxent_treebank_pos_tagger to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping taggers/maxent_treebank_pos_tagger.zip.
[nltk_data]    | Downloading package maxent_ne_chunker to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping chunkers/maxent_ne_chunker.zip.
[nltk_data]    | Downloading package universal_tagset to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping taggers/universal_tagset.zip.
[nltk_data]    | Downloading package punkt to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping tokenizers/punkt.zip.
[nltk_data]    | Downloading package book_grammars to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping grammars/book_grammars.zip.
[nltk_data]    | Downloading package city_database to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping corpora/city_database.zip.
[nltk_data]    | Downloading package tagsets to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |   Unzipping help/tagsets.zip.
[nltk_data]    | Downloading package panlex_swadesh to
[nltk_data]    |     /Users/hiroshi/nltk_data...
[nltk_data]    |
[nltk_data]  Done downloading collection book
hiroshi-no-MacBook-Air:~ hiroshi$

では、次にそのまま、

hiroshi-no-MacBook-Air:~ hiroshi$ from nltk.book import *             
 #       $のあとにいきなり「from nltk.book import *」と打ってもうまくはいかない。

としても。。。

from: can't read /var/mail/nltk.book
hiroshi-no-MacBook-Air:~ hiroshi$

と返されうまくいきません。

今度はこうしてみます。

hiroshi-no-MacBook-Air:~ hiroshi$ python3

そうすると、こうなります。

Python 3.4.3 (default, Aug 11 2015, 08:57:25)
[GCC 4.2.1 Compatible Apple LLVM 6.1.0 (clang-602.0.53)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>>

また入力の待ち状態になるので、続けて二つコマンドを打ってみます。

>>> import nltk      #  「import nltk」と打ってreturnを押す。
>>> text1               #    続けてtext1と打ってreturnを押す。

それでも、やはりこうなってしまい失敗。

Traceback (most recent call last):
  File "", line 1, in 
NameError: name 'text1' is not defined
>>>

今度は、こうしてみます。

>>> from nltk.book import *         #  「from nltk.book import *」と打ってreturnを押す。

そうすると次のようになります。

*** Introductory Examples for the NLTK Book ***
Loading text1, ..., text9 and sent1, ..., sent9
Type the name of the text or sentence to view it.
Type: 'texts()' or 'sents()' to list the materials.
text1: Moby Dick by Herman Melville 1851
text2: Sense and Sensibility by Jane Austen 1811
text3: The Book of Genesis
text4: Inaugural Address Corpus
text5: Chat Corpus
text6: Monty Python and the Holy Grail
text7: Wall Street Journal
text8: Personals Corpus
text9: The Man Who Was Thursday by G . K . Chesterton 1908
>>>

最後に、「text1」と打って

>>> text1

<Text : Moby Dick by Herman Melvile 1851 >

>>>

となり、なんとか成功しました。

まとめとしては、「python3 -m nltk.downloader book」を行ったあとは

python3 とコマンドを打つ。
import nltk とコマンドを打つ。
from nltk.book import * とコマンドを打つ。
最後にtext1と打って、上記のように表示されれば成功。

となります。

参考にしたページや文献・書籍
NLTKの公式サイト

NLTKについくるサンプルのデータのページ

NLTK（てくてくラボ）

[python] 自然言語処理ライブラリをインストール

NLTK導入メモ

Natural Language Processing

2015年9月22日火曜日

Macでpython3の環境構築7---NLTKのインストール1---

今回はNLTKをインストールしていきます。
まず、NLTK自体のインストールはすぐできます。
次のようにコマンドを打ちます。

hiroshi-no-MacBook-Air:~ hiroshi$ sudo pip3 install -u nltk          #       「sudo  pip3 install -u nltk」と打ってreturnを押す。

そうすると、パスワードを求められるので入力します。今までも出てきたので同じことの繰り返しになりますが、打っても入力できているようには見えませんが、きちんと認識はされています。

Password:          #  自分のPCのパスワードを入力。入力できているようには見えないけど、きちんと認識はされています。

そうすると以下のような処理がはしり、NLTKのインストールは終わりです。

The directory '/Users/hiroshi/Library/Caches/pip/http' or its parent directory is not owned by the current user and the cache has been
 disabled. Please check the permissions and owner of that directory. If executing pip with sudo, you may want sudo's -H flag.
You are using pip version 7.1.0, however version 7.1.2 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.
The directory '/Users/hiroshi/Library/Caches/pip/http' or its parent directory is not owned by the current user and the cache
 has been disabled. Please check the permissions and owner of that directory. If executing pip with sudo, you may want sudo's -H flag.
Collecting nltk
  Downloading nltk-3.0.5.tar.gz (1.0MB)
    100% |████████████████████████████████| 1.0MB 325kB/s
Requirement already up-to-date: six>=1.9.0 in /usr/local/lib/python3.4/site-packages (from nltk)
Building wheels for collected packages: nltk
  Running setup.py bdist_wheel for nltk
  Stored in directory: /Users/hiroshi/Library/Caches/pip/wheels/f6/ef/3d/039e21095c9845e948931918734aa6c05df4d72f09
a3132c69
Successfully built nltk
Installing collected packages: nltk
Successfully installed nltk-3.0.5

hiroshi-no-MacBook-Air:~ hiroshi$

これで、NLTKのインストールは完了。
このあと、サンプルデータのインストールになりますが、これが少しやっかいかも。

続いて、次のようにコマンドを打ちます。

hiroshi-no-MacBook-Air:~ hiroshi$ python3        #「python3」と打ってreturnを押す。

そうすると次のようになり、また入力の待ち状態になります。

Python 3.4.3 (default, Aug 11 2015, 08:57:25)
[GCC 4.2.1 Compatible Apple LLVM 6.1.0 (clang-602.0.53)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>>          #入力の待ち状態

そこにまたコマンドをうちます。

>>> import nltk       #「import nltk」と打ってreturnを押す。
>>> nltk.download()     #そうするとまた入力待ちになるので、続けて「nltk.download()」と打ってreturnを押す。

そうすると、
ターミナルの方は、

showing info http://www.nltk.org/nltk_data/

と表示されると同時に新しい画面が立ち上がります。

で、上の画面はallが選ばれていますが、bookを選んで左下のDownloadを押します。
そうすると、/User/hiroshi/の中に、nltk_dataというフォルダが作成されます。
これでうまくいくはずなのですが、エラーが出てしまいました。

そのとき、ターミナル上は、こうなっています。

Exception in Tkinter callback
Traceback (most recent call last):
  File "/usr/local/Cellar/python3/3.4.3_2/Frameworks/Python.framework/Versions/3.4/lib/python3.4/tkinter/__init__.py", line 1533, in __call__
    return self.func(*args)
  File "/usr/local/lib/python3.4/site-packages/nltk/downloader.py", line 1569, in _download
    return self._download_threaded(*e)
  File "/usr/local/lib/python3.4/site-packages/nltk/downloader.py", line 1836, in _download_threaded
    assert self._download_msg_queue == []
AssertionError
Exception in Tkinter callback
Traceback (most recent call last):
  File "/usr/local/Cellar/python3/3.4.3_2/Frameworks/Python.framework/Versions/3.4/lib/python3.4/tkinter/__init__.py", line 1533, in __call__
    return self.func(*args)
  File "/usr/local/lib/python3.4/site-packages/nltk/downloader.py", line 1569, in _download
    return self._download_threaded(*e)
  File "/usr/local/lib/python3.4/site-packages/nltk/downloader.py", line 1836, in _download_threaded
    assert self._download_msg_queue == []
AssertionError

このinvalid argumentというのをそのまま検索してみると、引数が不正、無効、とのこと。
一体なんのことやら。。。
わかる方がいたら教えてください。

よくわからないので、新しく出た画面の方はバツとじをしてしまいました。
そうすると、Trueとターミナル上には表示されます。

#####先ほどの続きから。中略。########
  File "/usr/local/lib/python3.4/site-packages/nltk/downloader.py", line 1569, in _download
    return self._download_threaded(*e)
  File "/usr/local/lib/python3.4/site-packages/nltk/downloader.py", line 1836, in _download_threaded
    assert self._download_msg_queue == []
AssertionError
True        #バツとじをするTrueと表示される。

全然うまくいっている感じはしないけれど、（そもそもエラーでたし）念のためうまくいっているかどうか確認をすることに。
「from nltk.book import *」と打って、「text1」と打って、「<Text: Moby Dick by Herman Melville 1851>」と表示されればうまくいったかどうかの確認らしい。

先ほどのところでTrueとでたあとはまた入力待ちのような状態になっているので、次ようにまた打ち込みます。

>>> from nltk.book import *       #    「from nltk.book import *」と打ってreturnを押す。

そうするとつぎのようになります。

*** Introductory Examples for the NLTK Book ***
Loading text1, ..., text9 and sent1, ..., sent9
Type the name of the text or sentence to view it.
Type: 'texts()' or 'sents()' to list the materials.
text1: Moby Dick by Herman Melville 1851
text2: Sense and Sensibility by Jane Austen 1811
text3: The Book of Genesis
text4: Inaugural Address Corpus
text5: Chat Corpus
Traceback (most recent call last):
  File "/usr/local/lib/python3.4/site-packages/nltk/corpus/util.py", line 63, in __load
    try: root = nltk.data.find('corpora/%s' % zip_name)
  File "/usr/local/lib/python3.4/site-packages/nltk/data.py", line 624, in find
    raise LookupError(resource_not_found)
LookupError:
**********************************************************************
  Resource 'corpora/webtext.zip/webtext/' not found.  Please use
  the NLTK Downloader to obtain the resource:  >>> nltk.download()
  Searched in:
    - '/Users/hiroshi/nltk_data'
    - '/usr/share/nltk_data'
    - '/usr/local/share/nltk_data'
    - '/usr/lib/nltk_data'
    - '/usr/local/lib/nltk_data'
**********************************************************************

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "", line 1, in 
  File "/usr/local/lib/python3.4/site-packages/nltk/book.py", line 34, in 
    text6 = Text(webtext.words('grail.txt'), name="Monty Python and the Holy Grail")
  File "/usr/local/lib/python3.4/site-packages/nltk/corpus/util.py", line 99, in __getattr__
    self.__load()
  File "/usr/local/lib/python3.4/site-packages/nltk/corpus/util.py", line 64, in __load
    except LookupError: raise e
  File "/usr/local/lib/python3.4/site-packages/nltk/corpus/util.py", line 61, in __load
    root = nltk.data.find('corpora/%s' % self.__name)
  File "/usr/local/lib/python3.4/site-packages/nltk/data.py", line 624, in find
    raise LookupError(resource_not_found)
LookupError:
**********************************************************************
  Resource 'corpora/webtext' not found.  Please use the NLTK
  Downloader to obtain the resource:  >>> nltk.download()
  Searched in:
    - '/Users/hiroshi/nltk_data'
    - '/usr/share/nltk_data'
    - '/usr/local/share/nltk_data'
    - '/usr/lib/nltk_data'
    - '/usr/local/lib/nltk_data'
**********************************************************************
>>>

やはりうまくいっている感じは全然しないけれど、続けます。

>>> text8     #「text8」と打ってreturnを押す。

が、やはり

Traceback (most recent call last):
  File "", line 1, in 
NameError: name 'text8' is not defined

となってしまいます。「NameError: name 'text8' is not defined」とか言われてるしね。。。
text5とかtext1とかでやっても同じです。

しらべてみると、「nltk.download()」のくだりは別の方法でもできるらしい。
結局今回のエラーについて原因はよくわからないままでしたが、あとまわしにして別の方法で、試してみたいと思います。それは次回。

登録: 投稿 (Atom)