<h2 id="ha6e59786a8">Twitter Bot動かない</h2><p><a href="https://twitter.com/sinn_yoko_bot  ﻿" target="_blank" rel="noopener noreferrer">こちらのtwitter_bot</a><br>気がついたら動かなくなってて、見てみたら原因が２つあった</p><ul><li>アクセスしてないアカウントと見なされていた。Botの自動ツイートはアクセスとみなされないっぽい。</li><li>Twitter API V1でのアクセス方法を採用していたので単純に復活することができなかった。</li></ul><p><br></p><h2 id="h2220f0ef7d">やったこと</h2><h3 id="h2a2a627fe0">tweepyと使ってTwitter API V2に対応した</h3><ul><li>API V2に対応するようにAPIアカウント情報取り直した</li><li>V2用アカウントを作成すると以下が生成されるのでコピーしておく<ul><li>BEARER_TOKEN</li><li>API_KEY</li><li>API_SECRET</li><li>ACCESS_TOKEN</li><li>ACCESS_TOKEN_SECRET</li></ul></li><li>自分の環境はfly.ioにデプロイしてたのでfly.io上の環境変数にセットしておく</li><li>pythonプロジェクトにtweepyを導入（元々使ってたpython-twitterは外した）</li><li>pythonのtwitter client生成処理をV2向けに修正する</li></ul><pre><code># V1
client = twitter.Api(consumer_key=os.environ["CONSUMER_KEY"],
&nbsp; &nbsp; consumer_secret=os.environ["CONSUMER_SECRET"],
&nbsp; &nbsp; access_token_key=os.environ["ACCESS_TOKEN_KEY"],
&nbsp; &nbsp; access_token_secret=os.environ["ACCESS_TOKEN_SECRET"]
)

# V2
client = tweepy.Client(bearer_token=os.environ['V2_API_BEARER_TOKEN'],
&nbsp; &nbsp;consumer_key=os.environ['V2_API_KEY'],
&nbsp; &nbsp;consumer_secret=os.environ['V2_API_SECRET'],
&nbsp; &nbsp;access_token=os.environ['V2_ACCESS_TOKEN'],
&nbsp; &nbsp;access_token_secret=os.environ['V2_ACCESS_TOKEN_SECRET']
)</code></pre><p><br>元々clientの生成は独立した処理になってたので、上記部分の修正で済んだ。<br>修正後、元気に動いてることを確認できたので完了。</p>

止まっていたTwitter BotをTwitter API V2に移行して復活させた

<p>ちょっと業務で機械学習周りに手を付けることになりまして、今まであまりやってこなかったジャンルなので<br>まずはとにかくなんらかファインチューニングを行い正常に動作するコードを得るところまでやったので一旦記録しようと思った。<br></p><h2 id="h86f9323a7b">環境について</h2><h3 id="h63f11a1938">ローカル/ローカル仮想環境</h3><p>とにかく「ファインチューニングとやらが正常に動けばいい」を目標にしていた。<br>なのでローカルで動かすのが手っ取り早いと考えた。<br>がMacローカル、Dockerともに環境構築するのに詰まり過ぎたので断念。正直何が悪いのかわからんというレベルで詰まりすぎた。<br></p><h3 id="h1a558df3a4">クラウド</h3><p>環境構築をしたいわけではなかったのでクラウド上で行うことにした。<br>AWS(SageMaker)かGoogle(Colab)が有名らしいがとりまColabにした。</p><h3 id="hcf83e1357e"><br></h3><h2 id="h3de35099b3">参考</h2><p><a href="https://www.youtube.com/watch?v=TOaKJbWpTUk" target="_blank" rel="noopener noreferrer">りんな GPT-2 の fine tuningをGoogle Colabの無料枠で試す方法</a><br>こちらを参考にした。<br>2023/07時点で2年前の動画なのでこの界隈だとかなり古いものを参考にしている気がしているが、以下を理由にチョイス。</p><ul><li>やってることはなんとなくわかった</li><li>登場する技術が比較的シンプルっぽい</li><li>データセットも単純にリストを食わせてるだけっぽい</li></ul><p><br></p><h2 id="h14f785f552">実際Colabで動作させたコード</h2><p>基本は参考動画の概要欄に貼ってある手順に従ったが、バージョンが古かったりバージョン変更にともなう互換性みたいなところでの修正が必要だった<br></p><h3 id="h31d727ccda">準備</h3><pre><code># google driveをcolab上で使えるようにする
from google.colab import drive

# カレントディレクトリに移動
%cd '/content/drive/My Drive/{ワークディレクトリ}/'</code></pre><p><br></p><h3 id="h94bf7ae1ee">データセットをdriveに入れておく</h3><ul><li>つくよみちゃんというキャラクターが会話テキストデータセットを配布していたので使用させてもらった</li></ul><p><a href="https://tyc.rei-yumesaki.net/" target="_blank" rel="noopener noreferrer">つくよみちゃん</a> </p><ul><li>簡易的にファインチューニングしたかったので、応答部分のみを残したリストに加工してdriveに配置</li><li>ファイル名: list.csv とした</li></ul><p><br></p><h3 id="h003f6e99d5">transformers取得</h3><pre><code># transformersをclone あとでこの中のファイルを修正して使う
# 動画内ではブランチ指定していたが動かなかったのでとりあえず最新を取得した
!git clone https://github.com/huggingface/transformers</code></pre><p><br></p><h3 id="h3804290ccc">必要なものを環境に追加</h3><pre><code># こちらも同様に最新バージョン前提とした
!pip install transformers
!pip install tqdm</code></pre><p><br></p><h3 id="h6fb31145fd">ランタイム再起動</h3><ul><li>colacメニュー &gt; ランタイム &gt; ランタイムを再起動</li><li>TODO: ランタイムについて調べる、どういうときに再起動が必要か？等</li></ul><p><br></p><h3 id="h73412d6616">再度準備</h3><pre><code># カレントディレクトリに移動
%cd '/content/drive/My Drive/{ワークディレクトリ}/'</code></pre><p><br></p><h3 id="h3804290ccc">必要なものを環境に追加</h3><pre><code>!pip install datasets
!pip install sentencepiece</code></pre><p><br></p><h3 id="h85cc9c6468">cloneしたtransformersリポジトリのファイル修正</h3><ul><li>ワークディレクトリに指定したgoogle driveにcloneしたリポジトリがある</li><li>./transformers/examples/tensorflow/language-modeling/run_clm.py ※ファイルの場所が動画の説明と違っていた</li><li>動画の説明通り<span style="color:#131313">「AutoTokenizer」を検索して「T5Tokenizer」に置換</span></li></ul><p><br></p><h3 id="hc2d3dccee2">ファインチューニング実行</h3><pre><code>!python ./transformers/examples/tensorflow/language-modeling/run_clm.py \
    --model_name_or_path=rinna/japanese-gpt2-medium \
    --train_file=list.csv \
    --validation_file=list.csv \
    --do_train \
    --do_eval \
    --num_train_epochs=3 \
    --save_steps=5000 \
    --save_total_limit=3 \
    --per_device_train_batch_size=1 \
    --per_device_eval_batch_size=1 \
    --output_dir=output/ \
    --use_fast_tokenizer=False</code></pre><p><br></p><h3 id="hcd422e41a0">ファインチューニングしたモデルを使用する</h3><pre><code>from transformers import T5Tokenizer, AutoModelForCausalLM
tokenizer = T5Tokenizer.from_pretrained("rinna/japanese-gpt2-medium")
model = AutoModelForCausalLM.from_pretrained("output/", from_tf=True)
input = tokenizer.encode("こんにちは、つくよみちゃん", return_tensors="pt")
output = model.generate(input, do_sample=True, max_length=100, num_return_sequences=8)

print(tokenizer.batch_decode(output))</code></pre><p><br></p><h2 id="hb6509f48bf">結果</h2><p>一応それっぽい結果が返ってきた</p><pre><code>['こんにちは、つくよみちゃん&lt;/s&gt;&lt;unk&gt; いつも、たくさん遊びに来てくださり、ありがとうございます♥&lt;unk&gt; 今日は私のオススメメニュー&lt;unk&gt; をお話ししたいと思います♪  ...</code></pre><p><br></p><h2 id="h0b2bb79295">振り返り</h2><h3 id="h477ab5b695">Keep</h3><ul><li>一応動いたので、これを記録しておき色々と試せる下地ができた</li></ul><h3 id="h41b0f11046">Problem</h3><ul><li>サンプルコードで動かなかった部分を試行錯誤して修正したがあまり分かってない</li><li>そもそも機会学習についての知識が足りなすぎる</li><li>データセットの量が少なすぎる気がするのでちゃんとファインチューニングできたのか怪しい</li></ul><h3 id="h83bc723eb1">Try</h3><ul><li>参考書籍を読む</li><li>データセット量を増やして再度試してみる</li></ul>

Tag: python

止まっていたTwitter BotをTwitter API V2に移行して復活させた

とにかくファインチューニングを正常に完了させるとこまでやったので記録