AWS LambdaのLayerをつくるためだけのDockerfile (Amazon Linux 2)
めんどくさかったのでメモするDockerfile本体FROM amazonlinux:2 ARG PYTHON_VERSION=3.9.6 RUN yum update -y && yum install -y tar gzip make gcc openssl-devel bzip2-devel libffi-devel zip \ && curl...
View ArticleClik here to view.
【データ分析基盤】Notionをデータソースとして使う
はじめに「Notion*1にしかない情報を使ってダッシュボードを構築してほしい」みたいな需要が出てきた。その需要にこたえるため、Notionからデータを取り込んでSnowflakeに取り込む仕組みを作ってみたら社内で案外評判が良かったので、やり方を記しておきたい。www.notion.soこの記事では取り込む部分までしか書かない。ダッシュボードとして表示させるためには、もう二手間くらい必要になるので...
View Article雑記：データ分析パイプラインの「ラストワンマイル」問題をなんとかしたい
データ・パイプラインのラストワンマイル問題物流業界には「ラストワンマイル」という言葉がある。ja.wikipedia.org「交通結節点から最終目的地までの人やモノの移動を表す」用語だそうだ。このラストワンマイルの管理が非常に難しく、Amazonとかヤマト運輸がいろいろ苦労したらしい。データパイプラインにも似たようなものがあるな、と最近思うようになってきた。話を簡単にするため、社内のマーケティングチ...
View ArticleClik here to view.
楽して構築するアナリティクスエンジニア向けターミナル環境整備【Zsh】
対象読者dbtなどを触っている/触ろうとしているデータアナリスト作業効率を上げたいアナリティクスエンジニアはじめにアナリティクスエンジニアを採用するのは難しい。アナリティクスエンジニアの概念を確立したdbtが日本で広まってからまだそんなに年がたっていないのが原因かもしれない。分析用にテーブルを作る人は昔もいたのだろうけど、dbtがあるのとないのとでは「テーブルを作る」の意味が全く違う（と会社のデータ...
View ArticleClik here to view.
雑記：社内向けアプリケーションをすべて単色アイコンにしている話
ノンデザイナーズ・デザインブックという本がある。https://www.amazon.co.jp/%E3%83%8E%E3%83%B3%E3%83%87%E3%82%B6%E3%82%A4%E3%83%8A%E3%83%BC%E3%82%BA%E3%83%BB%E3%83%87%E3%82%B6%E3%82%A4%E3%83%B3%E3%83%96%E3%83%83%E3%82%AF-%E7%AC%...
View Articleデータアナリストからアナリティクスエンジニアへ：スキルギャップと克服
はじめに前にも書いたが、「アナリティクスエンジニア」を採用するのは難しい。そもそもアナリティクスエンジニアの知名度が低いし、スキルを持っている人が採用市場に少ない。しかしニーズはある。以下のようなケースでは、アナリティクスエンジニアはかなりほしい人材だ。会社全体でデータ分析に対するニーズが高い場合例えば、競争環境の激しいマーケットを相手にしている状況などこの場合、データに対する需要をアナリスト単体で...
View ArticleClik here to view.
ダッシュボード・プロトタイピング：手戻りなくユーザーが本当に欲しいダッシュボードを作るためのHow to
はじめにダッシュボードをつくるのは難しい。「自分が本当に欲しいダッシュボード」を説明できるユーザーはめったにいない。本当に欲しいダッシュボードの要求定義を聞き出せるアナリスト・エンジニアだってそんなにいるものではない。本当に欲しいものが何か説明できないユーザー、理解する能力のないアナリスト・エンジニアのやり取りの結果生まれるダッシュボード。古典的な「顧客が本当に欲しかったもの」の図式とそっくりである...
View ArticleClik here to view.
雑記：Architecure is Leadership, and Architecture for Leadership
Architecture is LeadershipJoe ReisとMatt Housleyの著書『Fundamentals of Data Engineering』はデータエンジニアリングにおける基本的な考え方を網羅的に説明した本で、その中にデータ・アーキテクチャの基本原則を説くチャプターがある。9つある基本原則の1つとして「Architecture is...
View Article雑記：スタートアップに来てから1年経った
会社入るまでのあらすじ：contradiction29.hatenablog.comPMFした直後のスタートアップに入社してから大体1年経った。振り返ってみたいと思う。自分の中で変化したこと1....
View Article死と向き合う
大学生に入る直前の頃、パソコンが欲しかった。お金は持っていなかったので、祖父に買ってもらった。それ以来6年祖父には会っていなかった。会う理由がないなら会わなくていいと思っていた。仕事をしていると、母から「祖父が危篤だから、最後に会っておいてほしい」と連絡があった。母の頼みだから会いに行った。祖父は痩せていた。「もう二度と会えないと思っていた、最後に会えてよかった」と言っていた。私以外の孫にも全員会い...
View Article管理人にとっての健常者エミュレータ事例集：社会に対するハクティビズム
始める理由と続ける理由は違う。2022年の2月、大学卒業直前になって、健常者エミュレータ事例集の取り組みを始めた理由は２つある。 一つは自己顕示欲であり、インターネットの巨大な海の中で自分がここにいると示したかった。情報が濁流となり、歴史の一文字も満たさず消えていく人が大半の中で「我ここにあり」と示したかった。大学生なら誰しも似たようなことは考えると思う。...
View ArticleClik here to view.
データプラットフォーム統括チーム・マネージャーとして
データに関連する職業を続けてきた傍ら、データがもたらす役割について考えていた。データはモデルから生まれる。あらゆるモデルは間違っているが、そのうちいくつかは有用である。データはモデルを前提として生成されている。例えば、ユーザーの行動をモデル化し、重要なユーザー行動が発生した場合にはそのログを収集できる仕組みを作ったりする。現実のユーザー行動は想定より複雑であり、モデルは全てを捉えることはできず、デー...
View ArticleClik here to view.
Clik here to view.
Dagster Cloudで運用するdbt : オーケストレーションツールの技術選定、および4ヶ月運用してわかったメリットとデメリット
はじめに※この記事は2023年のdbt Advent Calendarの19日目の記事です。dbt-coreのオーケストレーションツールとしてDagster Cloudを導入してから4ヶ月ほど経った。ここで一度振り返り、普段当たり前のように使っているオーケストレーションツールの存在意義や技術選定のポイントに立ち返りつつ、Dagster...
View ArticleClik here to view.
排便行為としての日記 : Notionで書き溜めた日記をjarvisx17/japanese-sentiment-analysisで感情分析する
はじめに僕は日記をNotionで書き溜めている。日記をNotionで書き溜めると便利なことがある。スマホやiPad、PCなど、媒体を選ばずさまざまなところで記録できるどこでも記録できるため、散歩している途中で思いついた時などに記録できるデータはクラウド上にあるため、物理的に紛失しない複数あるメリットの一つに、「感情分析が手軽にできる」というのがある。...
View Article2023年を振り返る
今年は色々あった。キャリア的にも、キャリアじゃないところでも、色々なことがあった。キャリア的な年始の段階ではアナリティクスエンジニアをやっていて、BIの作成や自動化処理を業務領域にしていた。それからはデータエンジニアとなり、データ基盤の移行をやった。アーキテクトとしての技術選定・技術普及、プロジェクトマネジメント、社内政治など、「データ基盤を移行するために必要なこと」をすべて一貫してやり切ったことは...
View ArticleClik here to view.
StreamlitをApp Engineにデプロイする
はじめにStreamlitをApp EngineにデプロイすることのメリットAWSのEC2・ECSへのデプロイと比較した場合のメリデメデータの利用者は怠惰なものだからシームレスな認証体験が必要開発が早いGCPのCloud Runと比較した場合のメリデメStreamlit in Snowflakeと比較した場合のメリット実装ディレクトリ構成Dockerfileapp.yamlGitHub...
View Article殺意ドリブン開発
前提：一度生まれたシステムはそう簡単に死なないまず殺意殺す理由は後でいい跡形を残さない前提：一度生まれたシステムはそう簡単に死なない昔話をしよう。あるエンジニアがいた。コードを書くことに没頭した男だ。技術的負債が山ほど生み出された。善良なエンジニアもいた。男の罪を肩代わりし、レポジトリからコードを抹消し、満足して死んだ。この話には教訓がある。「一度生まれものはそう簡単に死なない。」一度生まれたシステ...
View ArticleClik here to view.
