はてなブックマーク

はじめに Colaboratoryで画像認識をやる上で、Colaboratory上で立ち上がったVM環境に毎回ローカルPCからファイルをUploadするのはシンドイ また、動画を〇Frame単位に画像として分解した画像データをVM上に放置しておくとColaboratoryの仕様によってVMが強制遮断されてしまうので、処理した画像はどこかに置いておかなければならない そこで、GoogleDriveをマウントしてColaboratoryで処理したものを永続的に保管しておくことにする PyDriveというモジュールを使えばGoogleDriveのAPIを直接触らなくても良いらしい。 えぇやん しかし PyDriveでやってみることしたのは良いのだけれど.... えっ.... なんか..... だいぶ........... 使いづらい....... 何なん？？？いや、マジで ということで、どうせま

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

内容、３行、マトメタ Colaboratory、ベンリ。 Bigqueryカラ、データトッテ分析。ノゾム。 3ツ、ヤリカタカイタ。ツカエ。 ということで、ColaboratoryからBigqueryにアクセスする方法を説明してみます。 主要な３つのパターンを記載します。 ColaboratoryのMagic Command 公式のBigQueryのクライアントAPI pandas経由のAPI もちろん、GCPのアカウントおよびBigqueryへのアクセスが許可されたユーザーアカウントが必要ですが、そこらへんは公式リファレンスをご覧ください。 Colaboratoryって何？状態であれば、下記の記事が詳しくまとめてくれてます。 【秒速で無料GPUを使う】深層学習実践Tips on Colaboratory 0.前準備 ColaboratoryはGoogleアカウントさえあれば使えますが、GC

結論としてはしょうもない話なのだが、正解に辿り着くまでにまぁまぁ時間を要したので、 同じ問題に直面した人向けに記事化しておく 3行で 記事タイトルの疑問は、私がひたすらググり続けてもよく分からなかった疑問 どんなにググっても解決されないのは当然で、別に特殊な作成方法など存在しないことが原因だった つまりBigQueryの_TABLE_SUFFIXは日付に限らずどんなパターンでもワイルドカードで取得できる そもそもなぜ私はワイルドカードで取得するタイプのテーブルには特別なテーブル作成が必要だと思っていたのか？ BigQueryの公式リファレンスにはワイルドカード（*）を利用したテーブルのクエリ方法についての説明はすでに存在している。 クエリの走査ボリュームを減らすためにもこの機能は可能な限り活用したいのでどうやったらワイルドカードで引っかかるようにサフィックス付きのテーブルを作成出来るのか調

前回はfeaturetoolsを使って、簡単に特徴量の自動生成をする方法を記事にしたが、記事冒頭に記載しているCategoryEncodersの方が地味によく使っている。 いや、なんだったら本当はこっちのCategoryEndodersの方が特徴量生成をする上では重要なんじゃないかとすら思っている。 これが該当する人は読むといいかも？ 文字列がデータに入っているとモデルがエラーになるからいつも除外している 除外はしてないけど、数値にEncodeするのが毎回だるい、死にたい sklearn.preprocessingよ、なんでお前pd.DataFrameで投げたのにnp.arrayで返してくんねん！！！ いや、待てと。そもそもなんでOneHotEncoderってクラス名のくせに、ダイレクトに文字からOnehotに展開してくれへんねん！！そこは気ぃ効かせてくださいよ！ いや、待て待て。文字列を

前にSQLで言う所のcase when x then y else z end的な処理をpandasでやる時にすぐやり方を忘れるから記事にした。あれはあれでいいのだけれど、まだまだ前処理にすごく時間がかかる！！めっちゃめんどい なんとかしたい... 今までpandas.DataFrameで色々特徴量生成（feature creationとかfeature engineering）する時に、ごちゃごちゃpandasのネイティブな機能を使って生成してたけど、kagglerのエレガントなデータの前処理を見ていると下記モジュールを使っている人が多い印象。 scikit-learn.preprocessing category_encoders featuretools 特に大量に特徴量を生成したい場合、**featuretools**がすごく便利そうな予感！！！ よっしゃ!! 使ってみよ！！！ F

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

あまりにも単純なことなので、書くまでもないかと思ったけど、これから何回も使いそうなので、メモがてらjsonのダンプ方法をまとめておく。 例えば、こんな感じの辞書をjsonとしてdumpしようとした時、幾つかの問題に出くわした。 dict_sample = {'幽助': {'霊丸': {'ショットガン': 30, '霊光弾': 40}}, '桑原': '霊剣', 'Hiei': '邪王炎殺黒龍波', 'Kurama': 'ローズウィップ'} f = open("output.json", "w") json.dump(dict_sample, f)

matplotlibをなんの設定もせずに使っていると、結構ダサいデザインで出力されてしまうので、最近主流になりつつあるフラットデザインに寄せたグラフを作るための初期設定と、実際のサンプルを作ってみたい #matplotlibの初期設定 matplotlibのデザイン（グラフのサイズや色）を管理している設定ファイルは下記のコードで確認できる import matplotlib as mpl from cycler import cycler #カラーのサイクルを先に決定 c_cycle=cycler('color',["#3498db","#e74c3c","#1abc9c","#9b59b6","#f1c40f","#ecf0f1","#34495e", "#446cb3","#d24d57","#27ae60","#663399", "#f7ca18","#bdc3c7","#2c3e5