Waza Lab

heroku pg:diagnoseをslackに投げる方法

Thu, 20 Jan 2022 01:34:00 +0000

年末の休暇でコード変更がなかったのが原因かわからないが、herokuのpostgresが謎のout of memoryを吐いて止まりまくる現象が起きた。しかも、成人の日の三連休中で対応が遅れてしまった。問題が当日わからなかったので、プロセスを再起動などの処理をして、1日様子見。そして、次の日も問題がお昼ごろに起きたので、follower DBをマスタに切り替えて問題は治った。

週末にherokuに問い合わせたものが火曜日に返信がきた。問題は、CPUがバーストしてたのが原因のこと。モニタしていなかったので、一日に何回かheroku pg:diagnoseを叩き、それをslackに送るワンライナーを書いた。

$ heroku pg:diagnose --app APP_NAME | curl -X POST --data-urlencode   "payload={\"text\": \"$(</dev/stdin)\"}" https://hooks.slack.com/services/xxxxxxxxxxx

cronに設定しようとしたら動かない。。仕方がないのでshellを書いたら動いた。

#!/bin/bash -x

out=`/snap/bin/heroku pg:diagnose --json --app APP_NAME | /usr/bin/jq -r '.checks[] | {"name": .name, "result": .results} | select(.name |test("Burst"))' | egrep 'name|balance' | sed s/\"//g 2>&1`
echo $out 
curl -X POST --data-urlencode "payload={\"text\": \"$out\"}" https://hooks.slack.com/services/T02xxxxxxxxxxxxxxx

apt updateができない(postgresのところで止まる)ときの対処法

Fri, 10 Dec 2021 06:34:00 +0000

Ubuntu14のサーバがあり、Certbotが下記のエラーで更新できないでいた。

Plugins selected: Authenticator nginx, Installer nginx                                                                                              
Attempting to renew cert (xxxxxxx.com) from /etc/letsencrypt/renewal/xxxxx.com.conf produced an unexpected error: ("bad handshake: Error
([('SSL routines', 'SSL3_GET_SERVER_CERTIFICATE', 'certificate verify failed')],)",). Skipping.                                                     
All renewal attempts failed. The following certs could not be renewed:                                                                              
  /etc/letsencrypt/live/xxxxxxy.com/fullchain.pem (failure)                                                                                                                                                       

単純にバージョンが古いと思い、apt updateだがしかし、Postgresのところで止まる。。

Err http://apt.postgresql.org trusty-pgdg/main amd64 Packages                                                                                       
  404  Not Found [IP: 147.75.85.69 80]                                                                                                              
Ign http://apt.postgresql.org trusty-pgdg/main Translation-en_US                                                                                    
Ign http://apt.postgresql.org trusty-pgdg/main Translation-en                                                                                       
W: Failed to fetch http://apt.postgresql.org/pub/repos/apt/dists/trusty-pgdg/main/binary-amd64/Packages  404  Not Found [IP: 147.75.85.69 80]  

古いのを使っているのは知っている。これを消す方法をググって、格闘すること30分。 /etc/apt/sources.list.d/pgdg.listを変更する方法でスキップできた。

# vi /etc/apt/sources.list.d/pgdg.list
# comment out the line 
# deb http://apt.postgresql.org/pub/repos/apt/ trusty-pgdg main

# then,
# apt update ## works!

certbotもapt upgrade certbotしたら動くようになった。

[Rails] すべてのbooleanカラムの値を変更する方法

Mon, 22 Nov 2021 06:34:00 +0000

DEPRECATION WARNING: `.represent_boolean_as_integer=` is now always true, so setting this is deprecated and will be removed in Rails 6.1
# Due to config.active_record.sqlite3.represent_boolean_as_integer = true

Rails6にアップグレードしたらSQliteのデフォルトboolean値の取扱い方が変わったみたい。なにやら全ての値を変更せねばならず、大変だと思ったので自動化するスクリプトを書いた。

Rails.application.eager_load!
models = ApplicationRecord.descendants.collect { |type| type.name }
models.each{|m|
  col_hash = Object.const_get(m).columns_hash
  col_hash.each{|k,v|
    if col_hash[k].type == :boolean
      Object.const_get(m).where("#{k} = 't'").update_all( {k.to_sym => 1})
      Object.const_get(m).where("#{k} = 'f'").update_all( {k.to_sym => 0})
    end
  }
}

Node app(redashbot)をsystemdで起動する方法

Thu, 28 Oct 2021 00:00:00 +0000

Redash botが使用できなくなったので、代替を探していたらredashbotを見つけて早速導入。 (Redashは買収後元気ありませんね。。)

導入後Rebootに耐えたいよね、ってことでsystemdに登録してみた。以下手順。

serviceファイル作成

 $ sudo vi /etc/systemd/system/redashbot.service

中身は、

[Unit]
Description=Redashbot

[Service]
PIDFile=/tmp/redashbot.pid
Restart=always
KillSignal=SIGQUIT
WorkingDirectory=/home/ubuntu/redashbot
EnvironmentFile=/home/ubuntu/redashbot/bot.env
ExecStart=npm start
User=ubuntu
Group=ubuntu

[Install]
WantedBy=multi-user.target

bot.envは、

SLACK_BOT_TOKEN=xxxx
REDASH_HOST=yyy
SLACK_BOT_TOKEN=

systemdにセットしてスタート

 $ sudo systemctl daemon-reload
 $ sudo systemctl start redashbot

Reboot後も起動するようにする

 $ sudo systemctl enable redashbot

AWS ELBのSecurity Groupの設定方法

Wed, 27 Oct 2021 00:00:00 +0000

ELB/ALBの下にサーバを配置するときにどのセキュリティグループにするかいつもわからなくなるのでメモ。構成はシンプルでELB(https) -> Web(80)。

ELBのSecurity Group

Inbound: HTTPS Custom 0.0.0.0/0
Outbound: WebのSecurity Group

WebのSecurity Group

Inbound: HTTP Custom 172.31.0.0/16 (VPCのサブネット)
Outbound: all, custom 0.0.0.0/0

Firebase storageのセキュリティ

Thu, 26 Aug 2021 05:11:01 +0000

FirebaseのAPIを使ってアップロードした場合、

https://firebasestorage.googleapis.com/v0/b/<project>.appspot.com/o/users%2F91b11d904a5f0eb398a334ssb5%2Fimages%2F60.jpg?alt=media&token=5908a2d0-7630-4a35-8be5-e3cc8adbd723

のようなtoken付きのlinkをgetDownloadLinkで取得できる。このトークンがあると、誰でもダンロードできてしまう。ダウンロード対象のダウンロードオブジェクトがセキュリティに気を使わなくてよいなら、tokenごとDBに保存。そうでない場合は、ref(path)だけ保存しておいて、クライアント側で毎回getDownloadLinkするのが良さそうだ。

sqlite3でカラムを削除する方法 [SQLite3::ConstraintException: FOREIGN KEY constraint failed: DROP TABLE “users”]

Wed, 04 Aug 2021 08:53:01 +0000

Railsのマイグレーションでcolumnを追加後にrollbackすると下記のようなエラーができることがある。sqliteにはカラムを削除する方法がないので、一旦テーブルを消して作り直すのだが、外部キー制約のため削除できず、エラーになる。

== 20210802023517 AddJtiToUser: reverting =====================================
-- remove_index(:users, {:column=>:jti})
   -> 0.0022s
-- remove_column(:users, :jti, :string)
rake aborted!
StandardError: An error has occurred, this and all later migrations canceled:

SQLite3::ConstraintException: FOREIGN KEY constraint failed: DROP TABLE "users"


Caused by:
ActiveRecord::InvalidForeignKey: SQLite3::ConstraintException: FOREIGN KEY constraint failed: DROP TABLE "users"だ

だが、しかしsqlite3.35でカラム削除ができるようになったので、最新バージョンを使えば良い。手元のubuntuのsqlite3は、3.31だったので、ソースからコンパイルする。

$ wget https://www.sqlite.org/2021/sqlite-autoconf-3360000.tar.gz
$ tar zxvf sqlite-autoconf-3360000.tar.gz 
$ cd sqlite-autoconf-3360000/
$ ./configure 
$ make

でこのバージョンを使って、

$ sqlite-autoconf-3360000/sqlite3 ~/my_project/db/development.sqlite3

# delete index and then drop column

sqlite> drop index index_users_on_jti;
sqlite> ALTER TABLE users DROP COLUMN jti;

その後、Railsの場合、migration version を消すとrollbackしたことになる。

$ rails db:migrate:status | tail -n 2
   up     20210802023517  Add jti to user

$ sqlite3 db/development.sqlite3
> delete from schema_migrations where version='[version_number]';

wコマンドのParserをrubyで書いた。

Tue, 03 Aug 2021 14:20:02 +0000

/dev/pts以下にファイルがない時があったのでwコマンドをパースすることにした。（おそらくLXDコンテナ内だからかな）

  def idle_by_w_command
    cmd = "w | grep #{self.username} | awk '{print $5}'"
    output = self._exec(cmd, "admin")
    output.split("\n").map{|line|
      if line =~ /(\d+)days/
        $1.to_i * 3600 * 24
      elsif line =~ /(\d+):(\d+)m$/
        $1.to_i * 3600 + $2.to_i * 60
      elsif line =~ /(\d+):(\d+)$/
        $1.to_i * 60 + $2.to_i 
      elsif line =~ /([0-9]*[.])?[0-9]+s$/
        $1.to_i
      end
    }.compact
  end

[Javascript] mark tagを使ってテーブル内の文字をハイライトする

Thu, 29 Jul 2021 08:44:20 +0000

上記画像の緑のフォントのやつです。単純にmarkタグを前後に入れてcssを整えれば完成。

    highlightKey($('input#q').val())

    function highlightKey(key){
      var valThis = key; 
      $('table').find('tr td').each(function() {
        if ($(this).attr('data-search') !== 'false') {
          var text = $(this).text();
          var textL = text.toLowerCase();
          var position = textL.indexOf(valThis.toLowerCase());

          var regex = new RegExp(valThis, 'ig');
          text = text.replace(regex, (match, $1) => {
            // Return the replacement
            return '<mark>' + match + '</mark>';
          });

          $(this).html(text);

          if (position !== -1) {
            setTimeout(function() {
              if ($(this).parent().find('mark').is(':empty')) {
                $('mark').remove();
              }
            }.bind(this), 0);
          } else {
            $(this).text(text);
          }
        }

      });
    }

Railsで一番シンプルな検索の実装

Tue, 27 Jul 2021 08:43:24 +0000

数分できたので多分最高にシンプル。

コントローラにクラスメソッド追加。

def index
  @commands = Pipe.search(params[:q]).paginate(page: params[:page])
end

モデルにロジック記述。ポイントはCase insensitiveにしているところとOR検索してるところ。

  def self.search(query)
    if query.present?
      q = query.downcase
      Pipe.where('lower(title) LIKE ?', "%#{q}%").or(Pipe.where('lower(line) LIKE ?', "%#{q}%"))
    else
      Pipe.all
    end
  end

Viewはこんな感じ。

<%= form_with(url: '/cmds', method: 'get', local: true) do %>
  <%= text_field_tag(:q, "", class: "uk-input uk-form-width-medium") %>
　　<%= submit_tag("Search", class: "uk-button uk-button-default") %>
<% end %>