mruby-at_eixtでmrb_state_atexitを直接呼ぶのをやめた

以前作ったmruby-at_exitに勘違いがあったので改良した。

mruby-at_exit gem リリース - スペクトラム

以前はmrb_state_atexit APIを直接呼んでいたけど、実はこれを呼ばなくてもat_exitは実現できる。

mrb_state_atexitはat_exit的なもの専用APIだと思っていたけど、*_gem_final関数を呼ぶのにも使われていた。

そもそもmrb_state_atexitが産まれた経緯は、 https://github.com/mruby/mruby/pull/1844 のような遅延読み込みがやりたかったかったがreject、その後、似たようなことを実現させようとしたのが、今のmrb_state_atexitの原型であるmrb_atexitだった。 https://github.com/mruby/mruby/pull/2211

どうやらこの時点で*_gem_final関数がatexitの仕組みと統合されていたようだ。

mrb_state_atexitを呼び出す前の設計だと余計にmalloc/reallocを呼んでしまうので、できれば呼ばないように改良した。

at_exitでは隠し変数にブロックをためておき、*_gem_final関数でためていたブロックを全て呼び出すシンプルな形になった。

mrubyでruby/specを走らせることに成功した

長いと思うので結果だけ

リポジトリはこちら。

github.com

使い方はgit cloneしてmakeするだけと大変お手軽。

make TESTS="core/nil"のように、ディレクトリ指定もファイル名指定もできる。

全国のmrubyistの皆様に於かれましては、是非お試し願いたいところです。

以下つらつらと

モチベーション

数年前に始めてからというもの、mrubyという船に乗りかかったからには「mrubyには〜がない」とか「mrubyはバグが多い」とか言われたくない。と思うぐらいには愛着というか責任感を勝手に持っている。

「mrubyはCRubyと動作が違う」というのはよくある話なのだが、これを極力減らしたい。(完全には無理だけど)

仕様が同じならCRubyの知識がそのままmrubyに使えるし、ドキュメントもCRubyのものがそのまま使える。 「CRubyのライブラリをmrubyに移植」というのも行いやすくなってくる。 前回のブログで書いた「mrubyでもCRubyでも動くgem」なんていう離れ業も可能になる。

そんなわけで「mrubyの細かい挙動をCRubyに合わせる」という活動はメリットがあると信じて結構やってきたつもりなんだけど、細かい仕様は結構CRubyのテストやruby/specを読まないとわからなかったりすることが多かった。

もし誰でもmrubyでruby/specのチェックができたなら、どんどんmrubyがよくなっていくに違いないと思い、やってみたらできた。という感じ。

ruby/spec

ruby/spec とは様々に存在するRuby処理系において、その挙動を統一するために作られたもの。 「Rubyである」をチェックするテストケース集だ(要出典)。

「mrubyでruby/specを走らせる」

このパワーワードを実行に移すため、何年か前に試した時は超えなければいけない山が多すぎて挫折した。 しかし、ここ数年でmruby界隈も盛り上がり材料が揃ってきた気もするので再度挑戦してみたらできた。

途中でぶつかった様々な障害を紹介する。

mrubyでruby/specを走らせるために必要なものたち

Rubyである」という仕様チェックをするのがruby/specなわけだけど、実はそのruby/specを走らせるためにも、ある程度Ruby」でなくては動かない。

今回は以下のある程度を解消した。

構文

  • "a" "b" #=> "ab"のような文字列リテラルの連結はできない。(mrubyがなぜそうしているかはわからない)
  • defined?が使えない。https://github.com/mruby/mruby/issues/1696 によると、実装しちゃうとmrubyが大きく複雑になってしまうしObject.const_defined?でだいたいなんとかなるという理由のようだ。

ruby/specがテストケース集とすれば、そのランナーとなるのがruby/mspecruby/specを走らせるというのは、正確にはruby/mspecを走らせると同義だ。

この構文の問題がruby/mspecにあった。

構文の問題はとりあえずruby/mspecをforkして問題の部分を書き換えることで解消させている。 問題の部分がまとまったらmruby対応PRとしてpatchを投げようと思う。

ライブラリ

mrubyではOSの機能を使う部分はcoreに入っていない。 そのかわり、外部gemとして用意すれば、プラグイン的にmrubyを拡張できる。 ruby/mspecを走らせるためには以下の問題があり、それぞれライブラリによって解消できた。

  • ENVが使えない
  • Dir.[]が使えない
    • Dir.globを実装している gromnitsky/mruby-dir-glob を使用。
    • 後述する雑なpatchでalias [] globとすることで解消。
    • Dir.globは実装が複雑そうだったので非常に助かった。
  • FileIOが使えない
  • Signaltrapが使えない
    • ワー コンナ メンドクサソウナ ライブラリー スデニアッタワー ksss/mruby-signalを使用。
  • Threadが使えない
    • "Threadごとにmrb_stateを作って完全に分離する"という設計思想上CRubyのThreadと仕様は異なるが、こんなに知識が必要そうなものはなかなか作るのが難しそうなので mattn/mruby-thread をありがたく使用。
  • File.executable?が使えない。
    • 意外な伏兵だったが、便利そうなものがあったので ksss/mruby-file-stat を使用。
    • これを使ってメソッドを追加することでFile.executable?は実装できた。mruby-file-statでFile.executable?は実装するか悩み中。。。
  • Processが使えない。
  • at_exitが使えない。
    • 実はこの問題を解決するために ksss/mruby-at_exit は産まれたのだった。
  • Regexpというか正規表現が使えない。
    • ほとんどのmrubyアプリにはこれが入っているんじゃないだろうか。 mattn/mruby-onig-regexpを使用。
  • Object#pretty_printが使えない
    • CRubyではrequire 'pp'すれば使えるやつ。
    • mruby-ppの実装は2つあったので悩んだが、kou/mruby-ppを選択。 takahashim/mruby-ppでも動作は変わらないと思う。
  • requireが使えない
    • mattn/mruby-requireでほとんどの問題は解決するが、コーナーケースでCRubyと非互換性があったので、といあえずforkを使用中。これは問題点を整理してpatchを投げようと思う。
  • undefined method 'method'
    • mrubyでMethod, UnboundMethod classがつかえるという神がかり的に便利な ksss/mruby-method を使用。

パッチ

ここから割りと泥臭い。

まずruby/mspecが必要としている標準ライブラリはrbconfigppiconvのみで、それぞれrequire文がruby/mspecに書かれている。

mattn/mruby-requireでは、build_config.rbに書いた順番によって、mruby-require以降に書いたモジュールについては共有ライブラリを作成してrequireでモジュール名を指定すると読み込めるというユニークな機能がある。

これを利用してファイル名を変えるなどすれば、require 'rbconfig'も実行可能だし、rbconfigっぽいものも作ろうと思えば作れるだろう。

しかしながら、問題はrbconfigだけではなく、以下の追加パッチが必要となる。

  • File.executable?
  • Dir.[]
  • SystemExit
  • RUBY_PLATFORM
  • RUBY_PATCHLEVEL
  • $:の調整
  • Kernel#abort

実はrequire 'rbconfig'はかなりはじめの方に実行されるため、rbconfigモジュールを書くより、rbconfig.rbというファイルを作ってパッチ置き場にするほうが便利なのだ。

この理由により、rbconfig.rbは、じつはruby/mspecを走らせるための細かいパッチ置き場となっている。

他のppとiconvはそれぞれpp.rbiconv.rbという空のファイルを作っておいて、ロードされるパスに置くことで回避している。(iconvが必要な場面にまだ遭遇していないだけで、遭遇したらなにか考えないといけない)

それからmrubyのIntegerの範囲のデフォルトは32bit想定となっているため、様々なspecで想定以上の数字が使われると文字列生成などでArgumentError: string (10204000000) too big for integerと表示されたりするので、64bit想定となるようにmrbconf.hを調整したりしている。

メリット

mrubyのモジュールのうちCRubyと同じAPIを持つものについて(あるいは同じ動作を期待するものについて)、CRubyとの非互換性を簡単にチェックできる。

実際にmruby-signalでも、make TESTS="core/signal"とするだけで非互換性を発見できるので、 7 failuresを2 failuresに減らすことができた。

これからもバンバン修正していくつもり。 しかも、誰でも実行できるのでバンバンmruby界隈がよくなっていく。

デメリット

仕様を合わせることのデメリットも理解している。

ごくごく一部の機能のために全体のパフォーマンスやメンテナンス性を犠牲にしなければならなくなるというのは、よくある話。

その場合はメリット・デメリットのトレードオフをコツコツ各メンテナがやっていくしかないんじゃないだろうかなあ。

しかしながら議論をすること自体は有益なはずだし、気にせずやっていくといいんじゃないですかねえ。

そんなこんなで

さまざまなモジュールの助けを借りつつ、ついにruby/specをmrubyで走らせることに成功したというわけです。感謝。

実際に実行してみると、わっさわっさとspecが落ちまくる。 大抵が〜classがないとか〜methodがないとかだ。 Encodingなどのmrubyでは実装されていない機能はしょうがないとして、 $ make TESTS="language"ではランダムにSegmentation faultする。

がんばってmrubyをよくしていきたい。

というか一人では完全に無理。

一緒にがんばっていきませんか?

JSONパーサー再考

tl;dr

json-expect-parserというgemを作った。

github.com

gem install json-expect-parser

で使えます。

きもち

JSONをパースする実装はいろいろありそうで、すでに各言語に標準添付されていたり、便利なものがたくさんある。

そこであえて車輪の再発明を試みてみた記録をここに残す。

動機は「なんかおもしろそう」だっただけ。

通常、JSON parserと言えば、JSON文字列を全部読み取って各言語オブジェクトに変換するものを思い浮かべる。

他の例としては逐次読み取るStreamなタイプ。

yajlというライブラリがこれにあたるようだ。

今回試した実装も逐次読み取るStreamなタイプにあたる。

書こうと思った動機はcrystal-langのJSON実装を読んだ時だった。 crystal-langではPullParserなるものがあって、メッソド名にread_arrayread_objectread_floatなどが並ぶ。

JSON::PullParser - github.com/crystal-lang/crystal

正直これだけでは実装がよくわからないが、なんとなく、「明示的に読み込む形式を指定することで、パフォーマンスアップと異常な形だった時に検知できるものだろうか」と思った。

実際のところは「なにかわからないが読み込む」->「何になるかわからないがとにかくオブジェクト化する」->「指定のものと合ってるか確認する。間違っていればエラー」というステップになっていた。(たぶん)

僕が想像していた「明示的に読み込む形式を指定することで、パフォーマンスアップと異常な形だった時に検知できるもの」は、 「指定した形式として読み込む」->「指定した形式通りパースできれば、指定したオブジェクトとしてオブジェクト化する。パースできなければエラー」というものだった。

まあ違いはそんなにないんだけど、crystal-langの移植ではなく、自分がヒラメイた方をとにかく実装してみた。

これは、youtubeで初めて名前を見るバンドを視聴するとき、視聴する前に想像していたもののほうがカッコよくて、実際に見てみると想像よりダサくてがっかりする現象に似ている。最初の妄想のほうがカッコイイのだ。

うまく行けば

  • パースは読み込み方を限定しているから早い
  • 逐次読み込むから省メモリ
  • 形式が想定外だった時にエラーになる。ついでにパースコードがそのままドキュメント的になる。

というJSON parserが誕生する。(もちろんすでにあるのかもしれないけど、そんなことはエモの前には関係ない。)

実装

で、Rubyしかまともに書けないのでとりあえずRubyで実装した。

[
  {
    "id": 1,
    "name": "ksss",
    "admin": true
  },
  {
    "id": 2,
    "name": "foo",
    "admin": false
  },
  {
    "id": 3,
    "name": "bar",
    "admin": false
  }
]

jsonファイルがあるとすると、

require 'json/expect/parser'

File.open("t.json") do |io|
  expect = JSON::Expect::Parser.new(io)
  expect.array do
    expect.object do
      expect.key #=> "id"
      expect.integer #=> 1, 2, 3
      expect.key #=> "name"
      expect.string #=> "ksss", "foo", "bar"
      expect.key #=> "admin"
      expect.boolean #=> true, false, false
    end
  end
end

と、こんな感じでパースできる。

特徴的なのはパースの仕方をプログラマーに委ねている点。 こうすると、特定の形式のJSONしかパースできないコードになる代わりに、 期待してないJSONだった場合にエラーにするといったことが可能になる。

普通にならべて書くとkeyの順番までも固定されることになる。 順番を不定にしたければ、case文と組み合わせるとよい。

json-expect-parserは、書かれたコードの見た目からなんとなく期待するJSONの形式が予測できるというのが大きい。

expectという名前も、このコードの形が期待している感を感じ取って名付けた。グルーヴだ。

期待していない形式がエラーになるという点ではTypeStructに似ているが、json-expect-parserの場合は型定義を書かなくて済む点が異なる。*1

肝心のパフォーマンスは、Ruby標準添付のjson/ext/parserに比べて約30倍ほど遅い。ガーン。

特に遅いのがI/O部分で、そりゃ逐次処理なんだからI/O増えて遅くなるよなあ。。。

I/O部分はある程度バッファをもたせるようにして多少マシにしてみたものの、なかなか厳しそうだ。ふーむ。

せめてjson/pure/parser並にはなりたい。これは倍ほど早くなればOK。

使用メモリーの方は、目論見通りぐっと減らせていることがわかった。(get_process_mem gemを使用して計測)

今後はパフォーマンスをあげれば使いみちが見つかるのかもしれないが、見つからないかもしれない。

思いついた妄想を書きなぐれて僕は満足だ。

ついでに、mrubyにも対応

ついでにmrubyでも動作するようにしておいた。

これは、CRubyでもmrubyでも動作する世界初のgemの誕生ではないだろうか!(妄想)

ちなみに両対応のコツを書いておくと、

  • mrblibというsymlinkをlibにはる
  • testはmrubyでテスト用に固定されたディレクトリ名なので、CRuby用は別の名前にする。
  • requireを使わない。どうしても使いたい場合は$:にpathを追加する。

あとは依存を書いたmrbgem.rakeファイルを置けばOK。

君の最強のデッキ(build_config.rb)に下の一行を加えてみよう。

conf.gem :github => "ksss/json-expect-parser"

ここまで書いてみて思ったけど

これって普通のJSONパーサーをStreamにしてパース用のAPIをpublicにしただけな気もする……。

実際に、何が来てもパースするメソッドvalueも、これまでのパースAPIを組み合わせるだけで簡単に作れた。

まあ細かいことは置いておいて、JSONパーサーは量もそんなにないし書いてみると楽しいので夏休みの工作に貴方も是非。

*1:type_structについてはるびまに詳しく書いたので是非 http://magazine.rubyist.net/?0054-typestruct

mruby-at_exit gem リリース

mrubyでat_exitができるmruby-at_exitを作った。

github.com

at_exitrubyスクリプトが何らかの理由で終了するタイミングで発動するコールバックを登録できるメソッド。

mrubyではmrb_state_atexitというCの関数でmrubyが終わるときをフックする関数を登録することができる。 mrb_state_atexitではmrb_state structのatexit_stackというメンバーに関数ポインタを配列で積んでいる(変わるかもしれないけど……)。

この仕様は結構前からあってドキュメントにもちゃんと書いてある。

mruby/mrbconf.md at master · mruby/mruby · GitHub

仕組みは2014年から出来てる。

Add API `mrb_atexit()`. by take-cheeze · Pull Request #2211 · mruby/mruby · GitHub

動的にメモリを確保する方法と静的にメモリを確保する方法まである。

と、ここまでくれば誰だってKernel.at_exitを実装したくなるが、 このPRはすでに出ており、しかもrejectされている。

Implement `Kernel#at_exit` and `Kernel.at_exit`. by take-cheeze · Pull Request #2363 · mruby/mruby · GitHub

mrubyではgem毎にfialize的に呼べる仕組みがあり、それで十分なので、 Kernel.at_exitの実装に説得力があまりなかったのだろう。

それなら……と言いたいところだが、実は作ってから検索してすでにrejectされていることを知った。。。

作ってしまったものの置き場として、とりあえずgemとして作っておくことにしたのが、 今回のmruby-at_exitというわけです。ふるってご利用ください。

日報 2016-07-31

exported form https://nippo.wikihub.io/@_ksss_/20160731140352

mrubyでのforkのバグを直した。

https://github.com/iij/mruby-process/pull/7

引数に初期化されてない変数がブロック引数に渡されているので、 これをmruby側で参照すると死ぬ。

そもそもforkにブロック引数はいらない。

mrubyのC側でブロック引数を無くす方法は2つ

  • mrb_yield(mrb, block, mrb_nil_value())
  • mrb_yield_argv(mrb, block, 0, NULL)

mrb_yieldmrb_yield_argvはほぼ同じ関数だが、ブロック引数の取り方に違いがある。 mrb_yieldはブロック引数を1つだけ指定できる。 mrb_yield_argvは0〜いくらでも指定できる。 関数の中身もほぼ同じ

MRB_API mrb_value
mrb_yield_argv(mrb_state *mrb, mrb_value b, mrb_int argc, const mrb_value *argv)
{
  struct RProc *p = mrb_proc_ptr(b);

  return mrb_yield_with_class(mrb, b, argc, argv, p->env->stack[0], p->target_class);
}

MRB_API mrb_value
mrb_yield(mrb_state *mrb, mrb_value b, mrb_value arg)
{
  struct RProc *p = mrb_proc_ptr(b);

  return mrb_yield_with_class(mrb, b, 1, &arg, p->env->stack[0], p->target_class);
}

https://github.com/mruby/mruby/blob/eb7422af581edff0dd4b1f8259598677b4d32793/src/vm.c#L657-L671

要約すると、mrb_yieldではどんなにがんばっても引数を一つ与えていることになるので、意味的にはおかしい。 ブロック引数を0個にしたければ、mrb_yield_argv(mrb, block, 0, NULL)を使うほうがヨサゲ。

どうやってこのバグを発見したかというと、単にコンパイルしたらclangがwarningで教えてくれただけだ。

つまりコンパイルさえすれば発見できる状態にあるが、2年近く放置されていたことになる。(ブロック引数なんかつけなきゃ問題ないので)

そしてこんなミミッチイ事を気にするのは、世界で僕ぐらいだったようである。

おしまい。

日報 2016-07-22

exported from https://nippo.wikihub.io/@_ksss_/20160722124458

mruby本体に2つバグがあった。

一つめ

Struct.new(:a) do
  def foo
  end
end

とすると、fooメソッドはStruct.newで作られた新しいclassのメソッドになることを期待するが、 なんと、Structclassのメソッドになるというもの。ここでメソッドを定義してしまうと、全部のStruct classの小クラスで共有されちゃう。 しかもselfはちゃんとStruct classの小クラスになっていて気が付きにくく邪悪。

ほんとStructって誰も使ってないんじゃないの……。

これの修正は1行修正でよかった

https://github.com/mruby/mruby/pull/3179/files

二つめ

Struct.new(:foo) {
  def initialize(*)
    self.foo
  end
}.new

がSEGVするというもの。

ここでのinitializeは、新しく作られたStructからのインスタンスclassのinitializeで、 それを上書きしているわけだけども、上書きしないinitializeでself.fooと呼べる準備をしており、 その準備をしないままだと、ありえない参照(StructはArrayとほぼ同じだ)をしてしまって落ちるようだった。

一つめの修正前でもselfは新しいStructのインスタンスclassなので、1つめとは別の問題。

一つめの修正をした上で

https://github.com/mruby/mruby/pull/3178/files

の修正をするとなおるっちゃなおるんだけど、実装が汚い。

なぜ汚いかというと、C言語は関数のスコープを「ファイルで閉じるスコープ」か、「実装内部だけで共有できるスコープ」か、「別のアプリケーションから参照できる公開されたスコープ」を作れる。 mrubyには「実装内部だけで共有できるスコープ」の部分がない(CRubyにはある)ので、 これをわざわざ作るのか、それともpublicなAPIとするしか共有するすべがない。

この辺を考えるのがめんどくさかったので、別の「ファイルで閉じるスコープ」の関数をコピペしてきた。これが微妙だ。

まあCRubyでいうallocにそうとうするやつなので公開してもいいような……でもmrubyではallocメソッドを作ってないから公開しないほうがいいような……。

というわけで、判断はmatzにまかせることにした。 margeされなくても、セグフォなのでいずれ誰かが何とかするでしょう。

日報 2016-07-20

exported form https://nippo.wikihub.io/@_ksss_/20160720141728

おもしろそうなのでこっちに書いてみる。 riloっていうmrubyで動くミニマムエディターを作っている。

https://github.com/ksss/rilo

ワンバイナリ化

mruby-cliについて勘違いしてた。 mruby-cliはmrubyでcliツールを作りたい時に、雛形をいい感じに生成してくれるものっぽい。 mrubyのお作法をある程度省略できるのがメリットっぽい。 特にbuild周りに重点されていて、Dockerfileとかdocker-compose.ymlも用意してくれる。 当然雛形なので気に入らない部分とかは書き換えちゃえばいい。

あと、コード読むときに「ああ、あれね」という分かりをえることができるのも利点かなあ。

mruby-clirakeするとmruby v1.2.0を落としてきてbuildするようになっている。 もちろん手元のmrubyでbuildすることもできる。 依存するライブラリも手元のやつを指定すれば、もしライブラリがバグってた時に直せる。 mruby-cliは雛形生成ツールなので、これに依存しているからbuild_config.rbでなになにみたいなことはない。

もともとmruby-cli無しで四苦八苦して作っていたのが、だいたいこの雛形と一致したので僕にはあんまり意味がなかったっぽい。 (当然Dockerまわりは助かった)

参考リンクからはこの「雛形生成ツール」であることがいまいち伝わらず、 「なんでいるんだろう?なくてもcliツールできるくない?」と思ってた。

というわけでriloもmruby-cliに対応?したのでワンバイナリとしてbuild & 実行可能になった。

自分がよく使うツールを自作する感じは楽しい。

だいたいの仕様をkiloにあわせてるけど、 別に合わせる必要はないので、頃合いを見て参考にせず突っ走っていこう。

参考リンク

http://dojineko.hateblo.jp/entry/2016/02/22/002701 http://blog.kentarok.org/entry/2015/10/27/000522 http://hb.matsumoto-r.jp/entry/2015/10/23/133753