最新の翻訳の取込みとサイト更新 ( script/update_deployment.sh ) を main branch のpushにフックして、走らせる

[kfly8]

TODO

script/update_deployment.sh で走ってる次の５つの処理を消しても良い状態にすれば、このissueは終わらせられそう。

• PJP::M::Index::Article->generate_and_save($pjp); を消しても良い状態にする
  • 次のPRで対応した index/articleを実行時キャッシュにする #55
• PJP::M::Index::Module->generate_and_save($pjp); を消しても良い状態にする
  • 次のPRで対応した index/module を実行時キャッシュにする #56
• PJP::M::BuiltinFunction->generate($pjp);を消しても良い状態にする
• PJP::M::BuiltinVariable->generate($pjp); を消しても良い状態にする
• PJP::M::PodFile->generate($pjp); を消しても良い状態にする

[kfly8]

現状確認

• cronに設定されている script/update_deployment.sh は、本番用の環境変数をセットして、script/update.pl をキックしている。
• script/update.plは、大きく5つのことをしている。
  • 1. PJP::M::Index::Article->generate_and_save($pjp);
  • 2. PJP::M::Index::Module->generate_and_save($pjp);
  • 3. PJP::M::BuiltinFunction->generate($pjp);
  • 4. PJP::M::BuiltinVariable->generate($pjp);
  • 5. PJP::M::PodFile->generate($pjp);

1. PJP::M::Index::Article->generate_and_save

このスクリプトは、こんな感じの indexデータを生成している

head -50 index-article.pl
[
  {
    'repository' => 'translation',
    'versions' => [],
    'distvname' => 'github.com/Perl/PPCs/ppcs/ppc0004-defer-block.md',
    'latest_version' => 0,
    'abstract' => 'この文書は、Perl/PPCs/ppcs/ppc0004-defer-blockを翻訳したものです。',
    'name' => ' Perl/PPCs/ppcs/ppc0004 defer block '
  },
  {
    'abstract' => 'Jesse SheidlowerさんによるCatalystチュートリアル。2005年のものなので、古いですが。',
    'latest_version' => 0,
    'name' => 'Catalyst - Perl.com',
    'repository' => 'translation',
    'distvname' => 'www.perl.com/pub/2005/06/02/catalyst.html',
    'versions' => []
  },</pre></details>

• このindexは、次のページで目次として利用されている。 https://perldoc.jp/index/article
• 集計をしている狙いは、キャッシュ。
  • ファイル、ディレクトリを都度舐めたくないからあるよう。
  • あとファイルの中身を見て、タイトルとか抜き出してそう。

2. PJP::M::Index::Module->generate_and_save

このスクリプトは、こんな感じの indexデータを生成している

head -50 index-module.pl
[
  {
    'name' => 'Acme-Bleach',
    'abstract' => "Perl\x{306e}\x{5224}\x{308a}\x{306b}\x{304f}\x{3044}\x{6f14}\x{7b97}\x{5b50}\x{3092}\x{7c21}\x{5358}\x{306b}\x{3057}\x{307e}\x{3059}",
    'latest_version' => undef,
    'versions' => [
      {
        'name' => 'Acme-Bleach',
        'abstract' => "Perl\x{306e}\x{5224}\x{308a}\x{306b}\x{304f}\x{3044}\x{6f14}\x{7b97}\x{5b50}\x{3092}\x{7c21}\x{5358}\x{306b}\x{3057}\x{307e}\x{3059}",
        'distvname' => 'Acme-Bleach-1.12',
        'repository' => 'translation',
        'version' => '1.12'
      },
      {
        'abstract' => "Perl\x{306e}\x{5224}\x{308a}\x{306b}\x{304f}\x{3044}\x{6f14}\x{7b97}\x{5b50}\x{3092}\x{7c21}\x{5358}\x{306b}\x{3057}\x{307e}\x{3059}",
        'name' => 'Acme-Bleach',
        'version' => '1.12',
        'distvname' => 'Acme-Bleach-1.12',
        'repository' => 'perldoc.jp'
      }
    ],
    'repository' => 'translation'
  },
  {
    'abstract' => "perl\x{30b3}\x{30fc}\x{30c9}\x{306b}\x{57cb}\x{3081}\x{8fbc}\x{307e}\x{308c}\x{305f}Brainfuck",
    'latest_version' => undef,
    'name' => 'Acme-Brainfuck',
    'versions' => [
      {
        'abstract' => "perl\x{30b3}\x{30fc}\x{30c9}\x{306b}\x{57cb}\x{3081}\x{8fbc}\x{307e}\x{308c}\x{305f}Brainfuck",
        'name' => 'Acme-Brainfuck',
        'version' => '1.1.1',
        'repository' => 'translation',
        'distvname' => 'Acme-Brainfuck-1.1.1'
      },
      {
        'version' => '1.1.1',
        'repository' => 'perldoc.jp',
        'distvname' => 'Acme-Brainfuck-1.1.1',
        'abstract' => "perl\x{30b3}\x{30fc}\x{30c9}\x{306b}\x{57cb}\x{3081}\x{8fbc}\x{307e}\x{308c}\x{305f}Brainfuck",
        'name' => 'Acme-Brainfuck'
      }
    ],
    'repository' => 'translation'
  },

• この目次に利用されてる。https://perldoc.jp/index/module
• 集計をしている狙いは、同じくキャッシュかな。

3. PJP::M::BuiltinFunction->generate($pjp);

• https://perldoc.jp/index/function このページで利用する関数のリストをperlfunc とperlopをみて、SQLiteに書き出してる

4. PJP::M::BuiltinVariable->generate($pjp);

• https://perldoc.jp/index/variable このページで利用する変数のリストをperlvarを見て、SQLiteに書き出してる

5. PJP::M::PodFile->generate($pjp);

• https://perldoc.jp/docs/perl/5.30.0/perlunicode.pod　など各ページの生成をしている
• ファイルを集めて、pod2html, markdown2html をしたHTMLやタイトルやリポジトリなどの情報を、SQLiteに書き出している

[kfly8]

素朴な疑問

• SQLiteの大きさは？
  • 2.3G 9月 6 06:24 perldocjp.db