Slack、AIでテスト変換を効率化
Slackのエンジニアリングチームは、大規模言語モデル(LLM)を用いて、15,000件のユニットテストと統合テストをEnzymeからReact Testing Library(RTL)に変換しました。
- SlackはLLMを使いテストを自動変換。
- 変換成功率80%で手作業を大幅削減。
- ハイブリッドアプローチで効率化達成。
AST変換とAI自動化を組み合わせることで、80%の変換成功率を達成し、手作業を大幅に削減しました。
変換ツールの採用率は約64%に達し、開発者の作業時間を最低でも22%削減しましたが、実際の節約時間はさらに多い可能性があります。
AST変換のみでは成功率は45%に留まりましたが、AnthropicのLLM、Claude 2.1を使用した試みでは40%から60%の成功率でした。
その後、Slackは人間の開発者の手法を観察し、AST変換とLLMを組み合わせたハイブリッドアプローチを採用。
これにより、レンダリングされたReactコンポーネントとASTツールの変換をLLMに統合し、強力な制御メカニズムを確立しました。
Claude 2.1は、200Kトークンのコンテキストウィンドウとモデルの幻覚率低減を特徴とし、2023年11月に公開されています。
参考記事:Slack
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、朝の通勤時間に読めるメルマガを配信しています。
最新のAI情報を日本最速で受け取りたい方は、以下からご登録ください。
また、弊社紹介資料もご用意しておりますので、併せてご確認ください。