NOTE 05 · 資料整理
参考URLの一覧から重複を取り除く方法
同じ行の重複と、同じページを指すURLの違いを整理。元の順番と出典情報を保つ作業手順です。
URLは一行に一つずつ並べる
資料集めでは同じURLを何度も控えることがあります。重複行削除は、同じ行の繰り返しを取り除くための機能です。まずURLと資料のメモを分け、URLだけを一行に一つずつ入力します。出典名・閲覧日・引用箇所は別に残し、URLを減らす際に失わないようにします。
最初に出た行が残る
A B A
内蔵サンプルの上の3行では、結果はA、Bの2行となり、最初の順番が保たれます。これはURLのアクセス確認や出典の信頼性評価ではなく、行単位の文字列比較です。
比較条件の選び方
| 条件 | 使う前の確認 |
|---|---|
| 前後の空白を無視 | 貼り付けた行の両端の空白だけが違う場合に検討する。残す行の空白自体は削除されない。 |
| 大文字・小文字を無視 | URLでは最初はオフにする。パス部分の大文字小文字の違いを、必ず同じページだとは扱わない。 |
自動ではまとめない例
末尾のスラッシュ、クエリ、ページ内の見出しを示す部分が異なるURLは、文字列として違う行です。同じ記事に見えても、アクセス先や表示条件が違う場合があります。追跡用に見えるパラメータでも、削除してよいとは限りません。元URLを保管し、実際の内容を確認した上で整理します。
整理した後の検算
- 入力行数と、出力行数・削除行数を照合する。
- 最初と最後の資料が残っているか確認する。
- 必要な資料を開き、タイトルや出典メモと一致するか確認する。
- 引用・掲載時には元の情報と利用条件を改めて確認する。
画像のA、Bは機能を確認するためのサンプルです。第三者の閲覧履歴や個人情報は含めていません。重要な参考資料は、重複判定だけで削除を決めないでください。