ITとかCockatielとか

技術のこととか。飼鳥(オカメインコ)のこととか。気になったこととか。基本的には備忘録。

データ分析(AI)

データ分析コンペのプラットフォーム

Kaggle www.kaggle.com いわずとしれたさいきょうのぷらっとふぉーむ。でもえいご。こんぺのかずがおおくてどれからやっていいかわからない。しょしんしゃはほかでうでだめししてからこよう。 Signate signate.jp にほんのさいと。かいさいちゅうのこんぺの…

Google Colaboratory Pro 使ってみた

Pro申し込みの動機 コンペを触り出したのだが、ローカルマシンは非力すぎて全く使えない。 Colabを使いだし、最初は順調だったがすぐにGPU使いすぎ問題で怒られる。(実行できなくなる) しばらく時間置いたら使えるようになったが、処理途中で上限だよーっ…

Google Colaboratory Pro TIPS

webbigdata.jp

<Python> 自然言語クラス分類 リンク集

Transfer Learning NLP|Fine Tune Bert For Text Classification BERT | BERT Transformer | Text Classification Using BERT BERT Text Classification Using Pytorch | by Raymond Cheng | Towards Data Science Pretrained models — transformers 4.7.0 d…

Bert の Tokenizer でエラー:ValueError: Input nan is not valid. Should be a string, a list/tuple of strings or a list/tuple of integers

一部省略するが、こんな感じの処理で掲題のエラー tokenizer = T.BertTokenizer.from_pretrained(model_name) self.encoded = tokenizer.batch_encode_plus( data, padding = 'max_length' ) 原因はメッセージのとおりで、dataに含まれる列内に欠損値(null…

Google Colaboratory で Git のコード実行

不便なところ:他のファイルを参照する場合は、Colab上のルートフォルダが起点になるので、同じフォルダにあるのに相対パスで実行できなかったりする。 qiita.com

データサイエンス100本ノック(構造化データ加工編)

github.com