Linux | Waza Lab

2019年4月18日 IT, Linux, インフラ, プログラミング

Rails経由でAWS Lambda(ruby)を使いファイルをs3にアップロードする方法

タイトルが渋滞していますが、、やったことは下記のこと。

Railsが非同期ジョブ走らせる
非同期ジョブはlambdaをinvokeする
lambdaがcurlでファイルを持ってきて、s3にアップロードする
その結果のアップロード先URLをRailsのDBに保存

AWS Lambdaを触ったのは初めてです。nodeではなくrubyで動かします。まずは、AWS上にLambda関数を作ります。今回は、コードは短いだろうと予想し、ローカルにインストールせずにAWSのWEB UIのエディタを使いました。

Role 追加

登場ロールは２つ、Rails側でlambdaをinvokeするロールとlambda関数を走らせるロール

Rails側でlambdaをinvokeするロール

*全部必要ではないかもしれませんが、面倒なので全て権限をあげました。

lambda関数を走らせるロール

Rails側のコード

AWS Ruby SDK version2 です。RequestResponseだと同期で処理します。返り値を拾うためにもここは同期で処理。invoke_copy自体を非同期で走らせるイメージです。

  def invoke_copy(recording_id, download_url, object_path)
    req_payload = {
      download_url: download_url, 
      object_path: object_path, 
    }
    payload = JSON.generate(req_payload)
    resp = lambda.invoke({
      function_name: "copyToS3", # required
      invocation_type: "RequestResponse", # accepts Event, RequestResponse, DryRun
      log_type: "Tail", # accepts None, Tail
      payload:  payload,
    })
    logger.debug Base64.decode64(resp.log_result)
    res = JSON.parse(resp["payload"].read());
    logger.debug res
    self.update(url: res["body"])
  end

  def lambda
    @lambda ||= Aws::Lambda::Client.new(
      region: "ap-northeast-1",
      access_key_id: ENV['AWS_ACCESS_KEY_ID'], 
      secret_access_key: ENV['AWS_SECRET_KEY'] 
    )
  end

def invoke_copy(recording_id, download_url, object_path)

req_payload = {

download_url: download_url,

object_path: object_path,

}

payload = JSON.generate(req_payload)

resp = lambda.invoke({

function_name: "copyToS3", # required

invocation_type: "RequestResponse", # accepts Event, RequestResponse, DryRun

log_type: "Tail", # accepts None, Tail

payload: payload,

})

logger.debug Base64.decode64(resp.log_result)

res = JSON.parse(resp["payload"].read());

logger.debug res

self.update(url: res["body"])

end

def lambda

@lambda ||= Aws::Lambda::Client.new(

region: "ap-northeast-1",

access_key_id: ENV['AWS_ACCESS_KEY_ID'],

secret_access_key: ENV['AWS_SECRET_KEY']

)

end

Lambda関数のコード

AWS Ruby SDK version3です。Lambdaの/tmpのみがwritableな場所で、maxで512MBです。
したがって、これ以上コピーできません。

require 'json'
require 'aws-sdk-s3'

def lambda_handler(event:, context:)
    puts event
    pp ENV
    puts `curl -L #{event["download_url"]} -o /tmp/a`
    puts `ls -al /tmp/a`
    puts `file /tmp/a`
    s3 = Aws::S3::Resource.new
    obj = s3.bucket('my-backet').object(event["object_path"])
    obj.upload_file('/tmp/a')
    
    { statusCode: 200, body: obj.public_url }
end

require 'json'

require 'aws-sdk-s3'

def lambda_handler(event:, context:)

puts event

pp ENV

puts `curl -L #{event["download_url"]} -o /tmp/a`

puts `ls -al /tmp/a`

puts `file /tmp/a`

s3 = Aws::S3::Resource.new

obj = s3.bucket('my-backet').object(event["object_path"])

obj.upload_file('/tmp/a')

{ statusCode: 200, body: obj.public_url }

end

2019年3月8日 IT, Linux, インフラ

[Linux] シンプルなプロセス監視にはimmortalが便利

プロセスがなにかの理由で死んだら、単純にリスタートさせたい。けど、systemdとかmonitとかの設定ファイルを書くのが面倒だなって思っていて調べていた。シェル(Bash)でLoopでかけそうだけど、

until myserver; do
    echo "Server 'myserver' crashed with exit code $?.  Respawning.." >&2
    sleep 1
done

until myserver; do

echo "Server 'myserver' crashed with exit code $?. Respawning.." >&2

sleep 1

done

Ref: Stackoverflow

これも面倒だと思ってしまいました。スクリプトの前にone command置く感じでやりたいなって調べてみると、immortalというツールを発見！早速インストール。

$ curl -s https://packagecloud.io/install/repositories/immortal/immortal/script.deb.sh | sudo bash
$ sudo apt-get install immortal

1 2	$ curl -s https://packagecloud.io/install/repositories/immortal/immortal/script.deb.sh \| sudo bash $ sudo apt-get install immortal

使い方もシンプルで

$ immortal /bin/sh -c "sleep 5 && date > /tmp/sleep.log"

1	$ immortal /bin/sh -c "sleep 5 && date > /tmp/sleep.log"

付属のimmortalctlで、管理できる。

$ immortalctl                                
  PID     Up   Down   Name    CMD                                                                                      
22400   4.6s          22364   /bin/sh -c sleep 5 && date > /tmp/sleep.log 
$ immortalctl halt 22364

$ immortalctl

PID Up Down Name CMD

22400 4.6s 22364 /bin/sh -c sleep 5 && date > /tmp/sleep.log

$ immortalctl halt 22364

2018年11月6日 IT, Linux, インフラ

[Ubuntu]古いバージョンのdockerのインストール方法

ある機能が現バージョンは動かなかったりで、昔のdockerをインストールすることがあった。
パッケージレポを設定して、apt-cache policyでイントールできるバージョンを確認して、現行のをアンインストールして、該当パッケージを入れるだけ。

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu xenial stable"
sudo apt-get update
# to show package list that can be installed
sudo apt-cache policy docker-ce
# delete current one
sudo apt-get purge docker-ce -y
sudo apt-get install -y docker-ce=17.06.2~ce-0~ubuntu

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu xenial stable"

sudo apt-get update

# to show package list that can be installed

sudo apt-cache policy docker-ce

# delete current one

sudo apt-get purge docker-ce -y

sudo apt-get install -y docker-ce=17.06.2~ce-0~ubuntu

2018年10月2日 IT, Linux, ウェブ

[Chromeos]localhost:portをCrostini VMのIP:portにフォワードする方法

Crostiniがstableにきた！と思ってbetaからstableに変更したらLinuxVMが無くなりました。気をつけてください。。
stableに変更したのが理由なのかわかりませんが、socatでcrostiniのlocalhostのポートへのマッピングがうまくいかなくなりました。
例えば、開発時にlocalhost:3000をcrostini　vm上で立ててもホストのchromeosのchromeからアクセスできなくなりました。

下記のようなエラーでうまくいきません。

This site can’t be reached
localhost refused to connect.

ERR_CONNECTION_REFUSED

This site can’t be reached

localhost refused to connect.

ERR_CONNECTION_REFUSED

解決方法をさがしているとRedditで同じようなことを聞いている人がいました。

Connection Fowarderdというextensionを入れ、forwardingを設定します。

ifconfigでVMのIPを調べてDestinationを適宜変更してください。

2018年10月1日 IT, Linux

Vimの検索単語ハイライト時の背景色の変更方法

/で検索しているときにどれがハイライトされているかわからなかったので調べてみた。.vimrcに下記を追加。

set hlsearch
hi Search ctermbg=Cyan
hi Search ctermfg=White

set hlsearch

hi Search ctermbg=Cyan

hi Search ctermfg=White

色は下記で確認。

:so $VIMRUNTIME/syntax/colortest.vim

1	:so $VIMRUNTIME/syntax/colortest.vim

参考：https://stackoverflow.com/questions/7103173/vim-how-to-change-the-highlight-color-for-search-hits-and-quickfix-selection

2018年9月28日 IT, Linux

Golangをgoenv経由でインストールする方法

一度、rbenv, nvmなどの言語環境設定ツールを使うとそれなしではバージョンのアップグレードなどが不安になってしまいます。
Goの場合はgoenvというものがあるようなので、これを使ってgolangを入れることにしました。

# git clone
$ git clone https://github.com/syndbg/goenv.git ~/.goenv

# add envvariables
$ echo 'export PATH="$GOENV_ROOT/bin:$PATH"' >> ~/.bash_profile
$ echo 'export GOENV_ROOT="$HOME/.goenv"' >> ~/.bash_profile
$ echo 'eval "$(goenv init -)"' >> ~/.bash_profile
$ source .bash_profile

# check if it's loaded
$ echo $GOENV_ROOT

# install version 1.11.0
$ goenv install 1.11.0

# set as global
$ goenv global 1.11.0

# confirm if it's working
$ go version
go version go1.11 linux/amd64
How to install Golang with goenv

# git clone

$ git clone https://github.com/syndbg/goenv.git ~/.goenv

# add envvariables

$ echo 'export PATH="$GOENV_ROOT/bin:$PATH"' >> ~/.bash_profile

$ echo 'export GOENV_ROOT="$HOME/.goenv"' >> ~/.bash_profile

$ echo 'eval "$(goenv init -)"' >> ~/.bash_profile

$ source .bash_profile

# check if it's loaded

$ echo $GOENV_ROOT

# install version 1.11.0

$ goenv install 1.11.0

# set as global

$ goenv global 1.11.0

# confirm if it's working

$ go version

go version go1.11 linux/amd64

How to install Golang with goenv

2018年9月23日 IT, Linux, インフラ, 仕事効率化

2018年のVimファイル検索・文字列検索はfzfとripgrep(rg)で決まり

sublime2 -> atom -> vscode -> sublime3 を経て5年ぶりぐらいにVimに帰ってきたわけですが、当時から色々変わっていて軽い浦島太郎状態です。ともかく大変なのはプロジェクト内のファイル検索と文字列検索。一度、sublimeのようなテキストサーチを経験してしまうとこれなしには開発できなくなってしまいました。

deinをパッケージのインストールに選び、deniteを試すも大きなプロジェクトではその遅さに困り、ctrlPとfzf両方試し、fzfを利用することに決めました。決め手はその速さ。Blazing fastというやつです。

deinを利用しているので、.vimrcにjunegunn/fzfとjunegunn/fzf.vimを追加。

if dein#load_state($HOME . '/.cache/dein')
  call dein#begin($HOME . '/.cache/dein')
  ..
  call dein#add('junegunn/fzf', { 'build': './install --all', 'merged': 0 })
  call dein#add('junegunn/fzf.vim', { 'depends': 'fzf' })
  ..

if dein#load_state($HOME . '/.cache/dein')

call dein#begin($HOME . '/.cache/dein')

call dein#add('junegunn/fzf', { 'build': './install --all', 'merged': 0 })

call dein#add('junegunn/fzf.vim', { 'depends': 'fzf' })

あとはショートカットを追加。ctrl-Pでファイル検索。ctrl-gで文字列検索です。私はバッファ検索はタブを利用しているのであまり使わないと思っていますが、一応追加。\\でvimコマンド一覧を表示できます。

" FZF
fun! FzfOmniFiles()
  let is_git = system('git status')
  if v:shell_error
    :Files
  else
    :GitFiles
  endif
endfun

nnoremap <C-b> :Buffers<CR>
nnoremap <C-g> :Rg<Space>
nnoremap <leader><leader> :Commands<CR>
nnoremap <C-p> :call FzfOmniFiles()<CR>

" FZF

fun! FzfOmniFiles()

let is_git = system('git status')

if v:shell_error

:Files

else

:GitFiles

endif

endfun

nnoremap <C-b> :Buffers<CR>

nnoremap <C-g> :Rg<Space>

nnoremap <leader><leader> :Commands<CR>

nnoremap <C-p> :call FzfOmniFiles()<CR>

私はタブを利用してて、かつ私のtmuxのprefixキーのctl-tが被って利用できなそうだったので、ctrl-oで新しいタブを開くに変更。

let g:fzf_action = {
\ 'ctrl-o': 'tab split'
\ }

let g:fzf_action = {

\ 'ctrl-o': 'tab split'

\ }

文字列検索はripgrep(rg)を採用

ripgrepをインストールして、Rgコマンドにpreviewを追加。ctrl-gで:Rgが出て、検索する文字列を入れて、Enter。それから?を押すとpreviewモードスタート。ファイルが右側に表示されて便利の極みです。

command! -bang -nargs=* Rg
\ call fzf#vim#grep(
\ 'rg --column --line-number --hidden --ignore-case --no-heading --color=always '.shellescape(<q-args>), 1,
\ <bang>0 ? fzf#vim#with_preview({'options': '--delimiter : --nth 4..'}, 'up:60%')
\ : fzf#vim#with_preview({'options': '--delimiter : --nth 4..'}, 'right:50%:hidden', '?'),
\ <bang>0)

command! -bang -nargs=* Rg

\ call fzf#vim#grep(

\ 'rg --column --line-number --hidden --ignore-case --no-heading --color=always '.shellescape(<q-args>), 1,

\ <bang>0 ? fzf#vim#with_preview({'options': '--delimiter : --nth 4..'}, 'up:60%')

\ : fzf#vim#with_preview({'options': '--delimiter : --nth 4..'}, 'right:50%:hidden', '?'),

\ <bang>0)

私の整理されてないvimrcはこちら

IT, Linux, インフラ, 仕事効率化

[Ubuntu] grepからSilver Searcher(ag)。2018年はRipgrep(rg)をインストールする

昔は、find . | xargs grep 2>/dev/nullを使ってました。agに変更後、その速さに驚き。2018年はそれよりも早いRipgrepを採用しています。

Ubuntuでのインストールは、下記の通り。

# ripgrep
curl -LO https://github.com/BurntSushi/ripgrep/releases/download/0.8.1/ripgrep_0.8.1_amd64.deb
sudo dpkg -i ripgrep_0.8.1_amd64.deb && rm ripgrep_0.8.1_amd64.deb

# ripgrep

curl -LO https://github.com/BurntSushi/ripgrep/releases/download/0.8.1/ripgrep_0.8.1_amd64.deb

sudo dpkg -i ripgrep_0.8.1_amd64.deb && rm ripgrep_0.8.1_amd64.deb

使い方はシンプルでrg 検索ワード。

shohey1226@pro79.local:/Users/shohey1226/dotfiles> rg vim
init.vim
1:set runtimepath^=~/.vim runtimepath+=~/.vim/after
3:source ~/.vimrc

starttmux.sh
10:  # create a new tmux session, starting vim from a saved session in the new window
13:  # Select pane 1, set dir to api, run vim
23:  tmux send-keys -t $session:1 "cd ~/git/Gauss; vim -S $HOME/.vim/sessions/gauss.vim" C-m
44:# return to main vim window

README.markdown
19:    $ git submodule init .vim/vundle.git/
20:    $ git submodule update .vim/vundle.git/

shohey1226@pro79.local:/Users/shohey1226/dotfiles> rg vim

init.vim

1:set runtimepath^=~/.vim runtimepath+=~/.vim/after

3:source ~/.vimrc

starttmux.sh

10: # create a new tmux session, starting vim from a saved session in the new window

13: # Select pane 1, set dir to api, run vim

23: tmux send-keys -t $session:1 "cd ~/git/Gauss; vim -S $HOME/.vim/sessions/gauss.vim" C-m

44:# return to main vim window

README.markdown

19: $ git submodule init .vim/vundle.git/

20: $ git submodule update .vim/vundle.git/

Search Site

カテゴリー: Linux