第一著者の所属を数える

問題：第一著者の所属を数える

ある学会（DICOMO2009)で、本学の発表が一位になっていそうなので、数えてみました。同じことは別の学会（FIT2005）の発表でも数えています(ここ)。

手順1：講演リストを手に入れる

[データの入手]

　まず始めに講演プログラムを手に入れる必要があります。PDFで情報が公開されていましたので、それを使うことを試みました。ですが、コピー＆ペーストできないように設定されていたので、使えませんでした。

仕方がないので、HTML版でデータを取り出しました。最初に実行したときは、一つ一つ手動で「ファイルを保存」しました。

実行したときは、Unix(Linux)が使えなかったので、手動でデータを持ってきました。ですが、このデータは簡単なプログラムを作ることで、いっぺんに取得することができます。

#!/usr/bin/perl @URLs = qw( 1A 2A 3A 4A 5A 6A 7A 8A 1B 2B 3B 4B 5B 6B 7B 8B 1C 2C 3C 4C 5C 6C 7C 8C 1D 2D 3D 4D 5D 6D 7D 8D 1E 2E 3E 4E 5E 6E 7E 8E 1F 2F 3F 4F 5F 6F 7F 8F 1G 2G 3G 4G 5G 6G 7G 8G 4H 5H); foreach $k (@URLs) { 　　system "wget http://www2.infonets.hiroshima-u.ac.jp/dicomo/program/" . $k . ".html\n"; }

以前も書きましたが所属索引は使えません。なぜならば、3人の所属が異なる発表があった時、 3箇所に記述されていて、１件の発表を３件の発表と数えてしまうからです。

手順2：第一著者を取り出すプログラムを書く

[解析]
データがHTMLデータなので、余計なタグなどがあることに注意が必要です。研究は複数人で行なわれることがあるため、発表論文には複数の人の名前が書かれています。そして、基本的に第一著者（一番最初に名前が書かれている人）が書き、発表します。
全ての共同研究者が同一の所属であれば良いのですが、そうでない場合も少なくありません。ですから、ここでは第一著者の所属を数えることにします。そのためには第一著者を見つけるプログラムを書かなくてはいけません。そして、第一著者を求めるためにはデータがどのような形式になっているか調べる、つまりデータの規則性を見つけなくてはいけません。
その前に、まず著者の情報を取り出すことを考えましょう。

<table bgcolor="#FFFFCC" border> <tr><td>題名</td><td>ウェアラブルセンサを用いた動作認識による周辺機器操作の提案と実証</td></tr> <tr><td>著者</td><td>*木村竜, 牧野真也, 岡村将志, 五百蔵重典, 田中博 (神奈川工科大)</td></tr> <tr><td>Page</td><td>pp. 162 - 169</td></tr> <tr><td colspan="2"><a href="1G_abst.html#1G-2">→詳細データ (アブストラクト，キーワード，詳細な著者の所属など)</a> </table>

「著者」という文字が含まれる行を取り出すと、良さそうです。実際に試してみると「詳細な著者の所属など」にも引っかかってしまいます。ですので、次のようにして、著者情報のみが含まれる行にします。

cat *.html | grep "著者" | grep -v "→詳細データ"

どうやら講演者は、行頭に○または◎で始まっている行に書かれていて、所属は括弧で囲まれているようです。第1著者と第2著者（以降）の著者の所属が同じ場合は、第1著者の所属は省略され、それ以降の人の所属が同じ人に所属が書かれている。ようです。結論からいうと、一番最初に括弧で囲まれている文字が第一著者の所属のようです。
[プログラム化]
欲しい情報は第一著者の所属です。所属は括弧書きされています。所属が同じ著者が並んでいる場合は、所属は省略されて、並置された著者の中で一番最後の人にのみ所属を書きます。複数の著者がいる場合、複数の所属が括弧が帰されて、記述されています。結論からいうと、一番最初に現れる括弧内の文章を取得すればよいということが分かります。
注意点としては、(...)を取り出す時に、正規表現を使うときは注意が必要です。最短一致で取り出すことです。正規表現のデフォルトである最長一致で取り出すと、不具合が置きます。具体例として以下の文字列を考えると、赤い文字の部分に照合してしまいます。
人名１( 大学名１ )・人名２( 大学名2 )
前回はPerlの最短一致を使いました。今回はもっと簡単な方法を思いつきましたので、そちらを使ってみます。手順を２回に分けます。最初に「).*」を削除します。つまり、最長一致で後ろから「)」までを削除してしまいます。そして、次に「.*(」を削除します。つまり先頭から「(」までを削除します。これはsedを使って簡単に書けます。

cat *.html | grep "著者" | grep -v "→詳細データ" | sed 's|).*||' | sed 's|.*(||'

仕上げは数え上げです。sortコマンド、uniqコマンドを使って表すことができます。

cat *.html | grep "著者" | grep -v "→詳細データ" | sed 's|).*||' | sed 's|.*(||' | sort | uniq -c | sort -r -n

実行結果：神奈川工科大学の健闘ぶりを見る

計算結果を少し修正したものを以下に示します。修正点は、大学名が英語で書かれているところが、正しく集計されていないため、手書きで直しました。

見事神奈川工科大学が１位になっていることが分かります。

17 神奈川工科大 16 阪大 11 静岡大 10 和歌山大 10 奈良先端大 10 東芝 10 創価大 10 神戸大 9 名城大 9 岩手県立大

計算結果はこちらに置いておきます。著作権は情報処理学会にあると思われますので、不正な利用はしないで下さい。

類題：論文の件数を数える

所属別で発表件数を数えるときに、論文の著者に含まれている大学の数を数える方法も考えられます。例えば以下のような著者の発表論文が２件あったとします。

Ａ、Ｂ（神奈川工科大学）、Ｃ（東大）、Ｄ（京大）Ｅ（神奈川工科大学）、Ｆ（東大）、Ｇ（神奈川工科大学）

先に数えた方法では、第１著者の所属を見ますので、神奈川工科大学が２件です。これに対して、今回の数え方は、神奈川工科大学２件、東大２件、京大１件と数える方法です。つまり、大学から見て、関連のある論文数を数えます。
これは２件目の論文である「Ｅ（神奈川工科大学）、Ｆ（東大）、Ｇ（神奈川工科大学）」の発表に対して、「神奈川工科大学１件、東大１件」と数えないといけません。つまり、神奈川工科大学という文字が２回現れていますが、｢神奈川工科大学を２件」と数えてはいけません｣
そこでそれぞれの｢大学名」で検索し、その検索に引っかかった行数を求めることにします。そのためには、大学名の一覧が必要になります。これを作るのは面倒です。ですが、実は先ほど作った答えの２カラム目がまさに大学名のリストになっていますので、これを使うことにします。するとプログラムは簡単です。先ほどの答えをfirst-author.txtというファイルに保存されているとすると、以下のように書けます。

awk '{print "grep", $2, "chosha.txt | wc -l"}' first-author.txt | sh

この結果を、リダイレクトしてファイルに保存しておきます。そして、最初の結果first-author.txtにくっつけます。くっつけるのはpasteコマンドです。
結果を以下に示します。先ほどと同様に、英語表記の大学名を数えもれしているので、手で修正しています。第一著者では神奈川工科大学が１位ですが、論文に関わっている大学数では大阪大学が１位であることが分かります。完全勝利は来年の課題としましょう。

17 神奈川工科大 17 16 阪大 19 11 静岡大 17 10 和歌山大 10 10 奈良先端大 13 10 東芝 15 10 創価大 10 10 神戸大 13 9 名城大 9

計算結果はこちらに置いておきます。著作権は情報処理学会にあると思われますので、不正な利用はしないで下さい。

反省：今後のために

前回は、正規表現の最短一致をするなど色々苦労しましたが、今回は簡単な正規表現で済ませています。それに加え、プログラムをほとんど使っていません。一部、awkコマンドを使っていますが、今回の利用範囲では、cutコマンドとsedコマンドで代用することができます。そのため、完全にプログラムレスで集計が可能になっています。