テクニカルライティングのアシスタントとしてのChatGPTの活用

目標と期待

ChatGPTをライティングアシスタントとして最初に検討したとき、いくつかの具体的な目標がありました。私が最も期待していたタスクの1つは、Thoughtworksのテクノロジーレーダー用の「ブリップ」を作成することでした。レーダーは100を超える個々のテクノロジーをカバーしており、私たちのチームはそれぞれについて詳細な議論を行いますが、それらのメモを首尾一貫した段落に翻訳するのは難しい場合があります。私はChatGPTがこのプロセスを合理化し、より効率的にしてくれることを期待していました。

ブリップに加えて、私は「テクノロジー業界におけるマクロトレンド」という記事も執筆しており、この分野で観察されるより広範なテーマとパターンを掘り下げています。ChatGPTがこの作品を形作る上で、インサイトを提供したり、コンテンツに貢献したりする役割を果たせるかどうかを知りたいと思いました。

最後に、テクノロジーレーダーをビジネスの文脈に合わせて調整し、そのハイレベルなテーマを技術者ではない読者にも理解できるようにすることを目指しています。これには、複雑な概念を単純化し、より分かりやすい形式で提示することが含まれることがよくあります。ChatGPTがこのタスクを支援し、より幅広い読者にアイデアを効果的に伝えるコンテンツを作成するのに役立つ可能性を探求したいと考えました。

レーダーブリップ：Webhooksの安易な管理 - 保留

考察

この出力はかなり優れていました。特に、ChatOpsの台頭を正当化し、Webhooksがどのように関連しているかを説明する最初の段落は優れていました。最後の段落は「行動喚起」のようなもので、レーダーのブリップには適切ではありませんでしたが、削除するのは簡単でした。Thoughtworksは10年以上テクノロジーレーダーを発行しているので、「Thoughtworksテクノロジーレーダーのスタイルで」出力を要求するだけで、レーダーのブリップに適した種類のスタイルを持つテキストが生成されます。別のスタイルのものが欲しかった場合は、プロンプトでより具体的に指定する必要がありました。編集後、会社全体のフィードバックを含めた結果、最終的にどのようなテキストになったかは、レーダーサイトのWebhooksの安易な管理のテキストをご覧ください。

レーダーブリップ：Giskard - 評価

考察

このテキストは、レーダーの「評価」ブリップにしては明らかに楽観的すぎます。ChatGPTがインターネット上の多くのマーケティングページでトレーニングされ、人間のフィードバックを使用して微調整されているという事実から、ボットが通常は言わないことを言ってしまうようになっています。「新しい」や「独自の」のような言葉は編集して削除します。

しかし、ここで非常に興味深かったのは、フィンランドの機械学習専門家からの反応でした。彼女は、このブリップは、典型的なMLワークフローをほとんど理解していないジュニアの人が書いたように聞こえ、ブリップテキストが公開できるようになる前に、かなり大きな変更を加えました。私はこの特定のツールの専門家ではありませんが（いくつかのMLツールチェーンを使用したことはありますが）、この批判的なフィードバックは、ChatGPTの出力には一般的に、レビューと編集を行うために非常に熟練した専門家が必要であることを強調しています。人間のレビューと編集後のレーダー上のGiskardブリップはこちらです。

マクロトレンドに関する記事

考察

ChatGPTが作成したRadar blipと同様に、このテキストは過度に「陽気」です。「これまで以上に重要」のようなフレーズは、少し誇張されているように聞こえます。これは一般的なテーマであることに気づきました。ChatGPTは過度に楽観的でハッピーな響きになりがちで、このため、少し「ありきたり」な内容になってしまうのです。しかし、簡単な編集で修正し、このトレンドを実際に表現するような言葉を入れることができます。

さらに、ChatGPTは常に、導入、情報、要約として回答を構成しているようです。オープンエンドな質問をしても、記事のセクションを作成するのを手伝ってもらっている場合でも、同じように構成しているように見えます。ChatGPTの出力の冒頭と最後の段落を繰り返し破棄または凝縮する必要があることに気づきました。

Thoughtworksのウェブサイトで、完成したマクロトレンド記事を見ることができます。

技術者ではない読者向けにレーダーを適合させる

考察

この出力には非常に満足しています。ChatGPTは、レーダーのテーマの「ビジネス向け」バージョンを非常にうまく提供してくれ、間違いなく時間を節約できました。生成されたアドバイスも非常に良いと思いました。

テクニカルライティングにおけるChatGPTの強みと弱み

全体として、ChatGPTは技術文書作成プロセスで有用なツールであることが証明されましたが、欠点がないわけではありません。その強みと弱みを理解することで、最大限に活用することができます。

強み

• 知識: ChatGPTは、類似の状況、事実、および他者が主題について議論した方法を即座に思い出すことに優れています。これにより、目の前のトピックに関連する可能性のある追加のポイントを提起し、著者としてより多くの記述や関連情報の追加を促すことができます。
• 時間節約: ChatGPTからの出力は、執筆の良い出発点となり、洗練または拡張できる初期コンテンツを提供することで時間を節約できます。
• 追加の提案: ChatGPTは、追加のコンテンツやセクションの提案をすることができ、それらは一般的に非常に役立ちます。この記事のアウトラインを入力したところ、「目標と期待」と「ChatGPTの出力を改善するための戦略」を追加のセクションとして提案してきましたが、どちらも気に入って執筆プロセスに含めました。

弱み

• 正確さと深さ: ChatGPTの応答は必ずしも正確または詳細であるとは限らず、手動でのレビューと修正が必要です。また、「情報カットオフ」日があり、最近の出来事や更新は出力に反映されません。
• 過度に肯定的で楽観的: AIは、批判的な視点が必要な場合（テクノロジーレーダーの短い記事など）には適切ではない可能性のある、過度に肯定的で楽観的なコンテンツを作成する傾向があります。
• コンテキストの制限: GPT-3.5とGPT-4にはコンテキストの制限があり、GPT-4の方が大幅に大きな制限があります。この制約により、ChatGPTが最新の出力のみを考慮したり、プロセスの初期のコンテキストを忘れたりする問題につながる可能性があります。
• アンカリング: ChatGPTは、ローカルの最大値で「行き詰まる」または「固定される」ことがあります。たとえば、箇条書きのメモを複数段落の記事に展開するように要求したところ、うまくいきました。出力にはさらに詳細が必要だと思い、書いた内容を詳しく説明するように要求しましたが、実際には要求したように詳細を追加することなく、基本的に同じ内容を再度生成しました。このような場合、この問題を克服するために、これまでの最良の出力を利用して新しいチャットを開始する必要があるかもしれません。

ChatGPTの出力を改善するための戦略

ChatGPTは役立つ技術文書作成アシスタントになる可能性がありますが、出力の質は使用方法に大きく依存します。ChatGPTの応答を洗練させるためのヒントを次に示します。

• コンテキスト設定プロンプトを使用する: ライティングスタイル、コンテキスト、対象読者を概説するコンテキスト設定プロンプトを作成、調整、再利用します。これにより、複数のチャットセッションにまたがって作業を分割する必要がある場合でも、後続のコンテンツが一貫したトーンを持ち、要件に合わせて調整されるようになります。
• 反復的に作業する: 人間のライターと協力するのと同じように、ChatGPTが最初からすべてを正しく行うとは限らないことを覚えておくことが重要です。辛抱強く、AIを正しい方向に導き、反復を通して出力を洗練させてください。特定の指示が役立つことがわかった場合は、コンテキスト設定プロンプトに組み込んでください。
• 小さいコンテンツに焦点を当てる: GPT-3.5は、記事の個々のセクションなど、小さいコンテンツの方が適しています。GPT-4はより長いコンテンツを処理するのに優れていますが、通常、AIとの個別の会話を使用してアウトラインを作成し、次に主要なセクションを個別に処理することをお勧めします。
• 協調的なアプローチを使用する: ChatGPTを、部下ではなく、貴重な同僚として扱います。大規模言語モデルは、ユーザーの見かけのレベルに応じて応答する傾向があるため、プロフェッショナルなプロンプトを提供すると、プロフェッショナルな出力が得られる可能性が高くなります。

AI生成コンテンツへの過度な依存を避ける

また、ChatGPTをコーディング目的でも実験しており、特に新しいテクノロジースタックを学ぶのに役立てています（これについては今後の記事で取り上げる予定です）。数回、GPT-4はセッション中にダウンタイムが発生し、少し途方に暮れました。私のAI「コンパニオン」が突然消えてしまったのです！GPT-3.5はまだオンラインでしたが、それほど優れていませんでした。GPT-4を使用する方がはるかに好きでした。これは、これらのAIツールに驚くほど依存しやすくなっているという事実を浮き彫りにしています。批判的な視点を維持し、高品質の出力を保証するためのヒントを次に示します。

• AIが生成したコンテンツの評価：AIの出力は常に正確性と関連性を精査してください。コンテンツに同意できるか、事実誤認がないか、あるいはあなたが支持しない可能性のある影響がないかを検討してください。
• 欠けているものを特定する：もしあなたが自分で文章を書いていたとしたら、加えたであろうニュアンスや具体的なポイントが欠けていないか、出力を分析してください。一見完成した文章ができあがると、これらのギャップを見つけるのは難しいかもしれませんが、作品の品質を維持するためには不可欠なステップです。
• 十分な時間をかける：ChatGPTの出力を批判的に編集するには時間がかかることを覚えておいてください。「AIによる生産性向上」は、当初考えていたほど大きくないかもしれません。必要な労力をかけることができない場合、コンテンツはあなたの基準を満たさない可能性があります。
• 責任を持つ：最終的には、記事はあなたのコンテンツであり、あなたの名前が載ることを忘れないでください。ChatGPTを有用なツールとして扱い、最終的な出力に対するあなたの責任を忘れないようにしてください。