DevDevデブ!!

プログラミングのこととか書きます。多分。。。

BigQueryどハマり珍道中

こんにちは私です。 前回のブログエントリから結構な間が空いてしまいましたが、存命です。 前回のエントリはathenaの話でしたが、今回はbigqueryです。 またもや大量のログと格闘しております。 アド関係やってると大量ログとの格闘は避けられないようです…

ログ集計バッチとしてのaws athena

タイトルそのまんまなんですが、最近aws athenaをログ集計バッチ代わりにつかっています。 athenaって何? 小宇宙(コスモ)を燃やすやつでも、サイコソルジャーでもない。 雑に説明すると、S3に配置したログファイルについてスキーマを定義して、SQLを実行で…

SIGMA@circus tokyo 2nd Aniversery day3行ってきた

重要な点だけ先に書くと、circus tokyoで聴くドラムンベースはやばい シ、シグマ。。。。? 実は、来日が発表された時点でSIGMA知らんかった。 正確には、以前にliquicityかどっかのレーベルコンピレーションで一度聴いて名前は知ってるはずだけど、その時点…

zapはgoroutine safeなのか??

READMEに明記されてないので調べてた (というかzapはドキュメント薄い。。。ソース読まないと分からん) (基本goroutine safeと明記されてないものはgoroutine safeでは無いんだけど) github.com 事の発端 zapのリポジトリのREADMEにはgoroutine-safeの記載は…

echoのcontent-type上書きに注意(訂正:上書きしてませんでした)

(訂正) 上書きしてませんでした (2018-08-25) コメントをいただき、修正しました HTMLBlobやBlobなどのレスポンスを書き込むContext構造体の関数は、content-typeの上書きはしません HTMLBlobやBlobなどのレスポンスを書き込む関数(以降、便宜的にレスポンス…

echoでgraceful restart

ちょろっとググっても見つからなかったので書いておく。 分かってると思うけど、golangのWAFのechoです。 go-server-starterを使う github.com 使い方は下記の記事を参考にした。 shogo82148.github.io net/httpをそのまま使うのであれば、上記の記事の通り…

EAT,DRINK,BREAKCOREに行ってきた

行ってきました。 twipla.jp ブレイクコアって何さ? わからん ブレイクコア - Wikipedia wikipediaの説明を読んでもよくわからん しかし、un!teで8to7さんがプレイしているのを聴いておもしろいと思ったので、行ってみた un1te.club ワタクシ、アーメンブレ…

ultra japan 2017 day 3行ってきたよ

半分愚痴だよ やった 晴れた 木曜の時点で台風の5日間進路予測がかなり不穏な動きを見せており、三日目に直撃するかと思われたのだけど、17深夜から18日の早朝にかけて通り過ぎていってくれたので、day 3はすごく良い天気だった。 (かなり暑かったけど) 今年…

AQUANAUTS vo.21にいってきたよ

いってきたんだけど、別にパーティーレポートとかではない。 (そういう文章は書けない) AQUANAUTSってなんや? ドラムンベースのサブジャンルであるところのリキッドファンクが大量に流れるイベント 詳しくはレジデントDJのid:Hizuru さんのブログを読んで w…

golangのrandパッケージのlockについて

rand.Intとか叩くと、実は中でlockかかってますよねっていう話です。 randパッケージってgoroutine safeなの? math/randを使ってるサンプルではrand.Intとか直接叩いてて、Rand構造体を自分で作ってないじゃないですか? そこで気になったわけです、これっ…

ルックルックこんにちは(DNSの話だよ

前回までのあらすじ ngx_mrubyからDynamoDBにアクセスするために、ちょっとしたクライアントを書いたYO 今回のお話 DynamoDBのエンドポイントの実IPからping値のよいやつを選択してええええええ DynamoDBのDNSのTTL短いけど、頻繁にDNSルックアップ走ること…

mrubyやっていってる

ワタクシ動画広告配信のお仕事してまして、配信ロジックの一部をngx_mrubyでアレしてるわけです。 現職は5月からで、まだngx_mrubyで動いてる部分は触ってなかったんだけど、先週から一部改修を担当することになって、ハマった点があったので書いておく mrub…

HOSPITAL NIGHTとIMAP++いってきた

7/21 HOSPITAL NIGHTいってきた 去る7/21、HOSPITAL NIGHTにいってきました。 170721_DBS - UNIT 金曜の23時半からだから、仕事終わってそのまま行ったんだけど、ボッチは時間潰すのが大変だった。 サイゼリヤのドリンクバーで粘ろうと思ったけど、クソ混ん…

近況 (転職とか、初クラブとか)

得意なことは三日坊主 ブログ放置しまくってたので近況とか書いときます 転職してました 5月の中旬に転職してました。 中小SIer(一応一次請け、だけど僕はweb系の会社にパートナーとして常駐)から、web系の会社へ。 自分の所属は広告配信事業だけど、それが…

codebuildでハマってた

会社のブログに書いたけど、ここにもまとめておく AWS CodeBuild使ってみようとして、以下の二点でハマった。 buildspec.ymlのphase名をtypoってもエラーにならず、phasesが全て素通りした。 go言語のプロジェクトをビルドしようとしたら、vendoringが有効に…

ひさびさにMakefile書いた

別にC++を書き始めたとかいうことではない。 タスクランナー代わりにMakefileを使っている。 今仕事で、NFSのHA構成を構築するAnsibleスクリプトを組んでいるのだけど、ansible-playbookコマンドってextra-varsとか、tagの指定とか入ってくると横にクソ長く…

ここ一年間の進捗

ここ一年間ほどダイエットを敢行していたので、進捗を晒します。 進捗 開始時 : 133kg なう : 80.75kg 身長174.5cmなので、あと10kgほどは落とす必要がある。 ちなみに体脂肪率は11/7朝時点で12.7%とか出たが、体重が増減してないのに日によって5〜8%ぐらい…

speakerdeckのスライドをpdfで保存するCLIコマンドを作った

github.com pocketに保存したspeakerdeckのスライドをpdfでダウンロードしてローカルに保存するコマンド won't read it laterの頭文字をとって「wril」です。 なぜ作った? 端的にいうとspeakerdeckが重くてkindle fire HD7と俺の寿命がマッハなので、いった…

Goでoshiraseというslackのcliコマンドを作ってみた

最近仕事でバッチやら定期実行してる監視スクリプトやらの結果をslackに通知させることが多いんだけど、シェルスクリプトからcurlでapi叩くのは面倒なので、goで簡単なcliコマンドを作ってみた github.com 今のところ機能は以下の3つだけ 指定したチャンネ…

Thorで作った対話型コマンドをテストする方法

最近ThorでCLIコマンドを自作することが多い。 普通にテストするだけなら以下の記事の方法で問題無い qiita.com 対話型コマンドの場合、テスト時にどうやって入力を与えればいいのか分からず、ちょいとハマってた。 解決方法:標準入力をモックすればよい 解…

初PRをキメた話

標準出力、標準エラー出力をキャプチャするgem、arieteにpull requestを出してマージされました github.com ariete.rb内にrspecの独自Matcherを定義しているため、arieteはrspec依存しているのだけど、gemspecにはrspecがdevelopment_dependencyで指定されて…

oracleXEの文字コードをJA16SJISTILDEに変更したDockerfileを作った

github.com 何故作ったのか? ユニットテストとか実行するときに、Dockerで使い捨てDB建てられないかなーと思ってて、通常のoracleXEのDockerイメージはDockerhubにあるんだけど、今の現場は文字コードがJA16SJISTILDEなのでそのまま使えず、しかたないので…

JavaのCalendarクラスのプロパティ areFieldsSetについての疑問

表題の件について、Javaで以下のようなコードを書いていたときのこと、 private Calendar getStartOfTheDay(Date date) { Calendar cal = Calendar.getInstance(); // (1) cal.setTime(date); // (2) return DateUtils.truncate(cal, Calendar.DATE); } (1)…

勉強会資料作成童貞を捨てることにします

またまた一年越しの更新です。物事が長続きしないことに定評があります。 この一年でプライベートで何か最後までやったのってメタルマックス4だけじゃないかな? 娯楽でもこの体たらくなので、ブログなんてとてもとてもw 表題の件について 社内勉強会の当番…

markdown記法はじめ〼

1. なぜmarkdown記法なのか 流行ってるらしいからDeath!! というのもあるけど、以下のような理由 1. githubのReadmeはmarkdownで書ける 2. Qiitaの記事もmarkdownで書ける 3. 会社のコードのReadmeで使えるかも? 4. はてなブログもmarkdown対応している 1,2…

code schoolやってます

最近codeschoolをやってます。 rubyのコンテンツが充実してて良い感じですね。 基本文法以外にも、Procとかlambda、method_missinngとかの説明もあるんだけど、これらの使いどころも一緒に紹介してほしいな。 railsのここで使われてるとか、あのライブラリで…

xboxのゴールドメンバーシップの自動更新の解除

私、知らなかったんです。。。 ゴールドメンバーシップの自動更新の解除がハード本体からできなかったなんて!! だってねー、普通本体からできると思うじゃんねー システム管理のアカウント設定のところで15分くらい悩みましたよ。 そもそも自動更新オフを…

はてなブログに移行した

ダイアリーからブログに移行した。 ダイアリーで全然投稿してないけど

はじめますた

リリカルなのはスト(ryじゃなくて、はてなダイアリーはじめます。 なんか、会社の愚痴とかプログラミングの話とか会社の愚痴とか書いていきたいと思っています。よろしこ シコシコ