【Swift5/Xcode】Swiftでスクレイピングする方法〜初心者にもわかりやすく解説〜

まずは、プロジェクトを新規で作成します。

Create a new Xcode project → App → InterfaceをStoryboardでその他は適当で「Create 」

ここでは、以下の2つのライブラリを使用します。

• Alamofire
• Kanna

なので、cocoapodsで2つのライブラリをインストールします。

cocoapodsでライブラリをインストールする方法がわからない方は、こちらの記事を見ながら、上記のように2つのライブラリをインストールしてください。

【CocoaPods】超初心者向け！CocoaPodsのインストールの仕方と使い方を丁寧に解説

①command + n

②「Swift File」を選択

③Gyudon.swiftと言う名前でそのまま「Create」

そのファイルを以下のコードを追記します。

class Gyudon: NSObject {
    var size: String = ""
    var price: String = ""
}

これで、牛丼のオブジェクトが完成しました。

以下のコードをViewController.swiftに丸々コピペしてください。

import UIKit
//HTTP通信してくれるやつ
import Alamofire
//スクレイピングしてくれるやつ
import Kanna

class GyudonPriceTableViewController: UITableViewController {
    var beefbowl = [Gyudon]()
    override func viewDidLoad() {
        super.viewDidLoad()
        self.getGyudonPrice()
    }
    func getGyudonPrice() {
    //スクレイピング対象のサイトを指定
    Alamofire.request("https://www.yoshinoya.com/menu/gyudon/gyu-don/").responseString { response in
            if let html = response.result.value {
                if let doc = try? HTML(html: html, encoding: .utf8) {

                    // 牛丼のサイズをXpathで指定
                    var sizes = [String]()
                    for link in doc.xpath("//th[@class='menu-size']") {
                        sizes.append(link.text ?? "")
                    }

                    //牛丼の値段をXpathで指定
                    var prices = [String]()
                    for link in doc.xpath("//td[@class='menu-price']") {
                        prices.append(link.text ?? "")
                    }

                    //牛丼のサイズ分だけループ
                    for (index, value) in sizes.enumerated() {
                        let gyudon = Gyudon()
                        gyudon.size = value
                        gyudon.price = prices[index]
                        self.beefbowl.append(gyudon)
                    }
                    self.tableView.reloadData()
                }
            }
        }
    }

    override func numberOfSections(in tableView: UITableView) -> Int {
        return 1
    }

    override func tableView(_ tableView: UITableView, numberOfRowsInSection section: Int) -> Int {
        return self.beefbowl.count
    }

    override func tableView(_ tableView: UITableView, cellForRowAt indexPath: IndexPath) -> UITableViewCell {
        let cell = tableView.dequeueReusableCell(withIdentifier: "reuseIdentifier", for: indexPath)

        let gyudon = self.beefbowl[indexPath.row]
        cell.textLabel?.text = gyudon.size
        cell.detailTextLabel?.text = gyudon.price

        return cell
    }
}

ファイルの名前(ViewController.swift)も以下のように変えておきましょう。

この状態でビルド(command + b)してみると、エラーが出てしまいますので対応します。

このようにエラーが出てしまうと思います。

Module 'Alamofire' has no member named 'request'

このエラーは、Alamofireにrequestがないと言っています。

Alamofireのライブラリのアップデートで書き方が変わりました。

以下のように変更すると、エラーが消えます。

before

Alamofire.request("https://www.yoshinoya.com/menu/gyudon/gyu-don/").responseString { response in

after

AF.request("https://www.yoshinoya.com/menu/gyudon/gyu-don/").responseString { response in

ただ単に先頭のAlamofireをAFにしただけです。

またもやエラーが出ました。

Value of type 'Result<Any, AFError>' has no member 'value'

これも書き方が変わりました。

以下のように変更すると、綺麗ではありませんが、エラーは消えます。

before

AF.request("https://www.yoshinoya.com/menu/gyudon/gyu-don/").responseString { response in
    if let html = response.result.value {
        if let doc = try? HTML(html: html, encoding: .utf8) {
            
            // 牛丼のサイズをXpathで指定
            var sizes = [String]()
            for link in doc.xpath("//th[@class='menu-size']") {
                sizes.append(link.text ?? "")
            }
            
            //牛丼の値段をXpathで指定
            var prices = [String]()
            for link in doc.xpath("//td[@class='menu-price']") {
                prices.append(link.text ?? "")
            }
            
            //牛丼のサイズ分だけループ
            for (index, value) in sizes.enumerated() {
                let gyudon = Gyudon()
                gyudon.size = value
                gyudon.price = prices[index]
                self.beefbowl.append(gyudon)
            }
            self.tableView.reloadData()
        }
    }
}

after

AF.request("https://www.yoshinoya.com/menu/gyudon/gyu-don/").responseString { response in
    switch response.result {
    case let .success(value):
        if let doc = try? HTML(html: value, encoding: .utf8) {
            
            // 牛丼のサイズをXpathで指定
            var sizes = [String]()
            for link in doc.xpath("//th[@class='menu-size']") {
                sizes.append(link.text ?? "")
            }
            
            //牛丼の値段をXpathで指定
            var prices = [String]()
            for link in doc.xpath("//td[@class='menu-price']") {
                prices.append(link.text ?? "")
            }
            
            //牛丼のサイズ分だけループ
            for (index, value) in sizes.enumerated() {
                let gyudon = Gyudon()
                gyudon.size = value
                gyudon.price = prices[index]
                self.beefbowl.append(gyudon)
            }
            self.tableView.reloadData()
        }
    case let .failure(error):
        print(error)
    }
}

これでエラーは消えます。

実行してみましょう。

ビルドは通りますが、画面に何も表示されません。

当たり前ですが、TableViewController.swiftに変更したので、Storyboard側も変えてあげなければいけません。

まず、ViewControllerではなく、TableViewControllerなので、TableViewControllerを用意します。

先ほど配置したTableViewControllerを一番最初に表示する画面に変更します。

この画面のClassにGyudonPriceTableViewController.swiftを設定します。

セルの「Style」をRight Detailに変更して、「Identifier」にreuseIdentifierを入力します。

実行してみましょう。

無事、現バージョンでも、スクレイピングできました！