【ダウンロード】 写真の背景除去を完全自動化する方法 【自動化アプリ】

実行ディレクトリに、inputフォルダとoutputフォルダがあります。input内のファイルを処理してoutputに出力するPythonプログラムを書いてください。

【条件】
- 必ず単一スクリプト./app.pyで完結させてください。実行コマンドは「python app.py」です。pdf2imageのような外部依存が存在するライブラリの使用も禁止です。
- ライブラリの導入が必要な場合は./requirements.txtの内容も書いてください。このときバージョンの指定は行わないでください。
- ./input、./output、./_app以外を対象とするCRUD含めいかなる操作も禁止です。./inputはRのみ許可します。./outputはCのみ許可します。./_appはCRUDすべて許可します。
- 仕様に忠実かつ必要十分にしてください。明示的に設定項目が必要と指令された場合は、./input/settings.txtを作成したり、Tkinter GUIで都度設定変更できるようにするなどしてください。
- 特に./input、./outputディレクトリは適切な構造化により視認性を保つようにしてください。
- ./_appはユーザーが参照する必要のない一時ファイルやデータベースファイルの作成など自由に使ってください。
- README.txtの内容も示してください。

###

【仕様】
前回作成したプログラムをアップデートしてください。
前回は、白い背景を使用していましたが、もとの背景となじまない問題が発生しています。元の画像のフチの色の平均を背景として使うようにアップデートしてください。
import os
from PIL import Image

# 入力と出力のディレクトリ
INPUT_DIR = './input'
OUTPUT_DIR = './output'

def make_square_image(image: Image.Image) -> Image.Image:
    """画像を正方形のキャンバスに貼り付ける"""
    # 画像の幅と高さを取得
    width, height = image.size

    # 正方形にするためのキャンバスのサイズ（最大の辺の長さに合わせる）
    new_size = max(width, height)

    # 新しいキャンバスを作成 (白い背景)
    new_image = Image.new("RGB", (new_size, new_size), (255, 255, 255))

    # 画像を中央に貼り付け
    left = (new_size - width) // 2
    top = (new_size - height) // 2
    new_image.paste(image, (left, top))

    return new_image

def process_images():
    """inputディレクトリ内の画像を処理し、outputディレクトリに保存する"""
    # inputフォルダ内のファイルリストを取得
    for filename in os.listdir(INPUT_DIR):
        input_path = os.path.join(INPUT_DIR, filename)
        if os.path.isfile(input_path):
            # 画像ファイルを開く
            try:
                with Image.open(input_path) as img:
                    # 画像を正方形に変換
                    square_img = make_square_image(img)

                    # 出力ファイルパスを生成
                    output_path = os.path.join(OUTPUT_DIR, filename)
                    
                    # 画像を保存
                    square_img.save(output_path)
                    print(f"{filename} を処理しました。")
            except Exception as e:
                print(f"{filename} の処理中にエラーが発生しました: {e}")

if __name__ == "__main__":
    process_images()

import os
from PIL import Image

# ディレクトリ設定
INPUT_DIR = './input'
OUTPUT_DIR = './output'
APP_DIR = './_app'

def get_border_average_color(image: Image.Image) -> tuple:
    """画像の上下左右フチの平均色を取得する"""
    pixels = image.load()
    width, height = image.size

    border_pixels = []

    # 上下のライン
    for x in range(width):
        border_pixels.append(pixels[x, 0])
        border_pixels.append(pixels[x, height - 1])

    # 左右のライン（端の角は重複してるので除く）
    for y in range(1, height - 1):
        border_pixels.append(pixels[0, y])
        border_pixels.append(pixels[width - 1, y])

    # RGBの平均を求める
    r_avg = sum([pix[0] for pix in border_pixels]) // len(border_pixels)
    g_avg = sum([pix[1] for pix in border_pixels]) // len(border_pixels)
    b_avg = sum([pix[2] for pix in border_pixels]) // len(border_pixels)

    return (r_avg, g_avg, b_avg)

def make_square_image(image: Image.Image) -> Image.Image:
    """画像を正方形にし、背景をフチ色の平均で塗る"""
    width, height = image.size
    new_size = max(width, height)

    # フチ色平均を背景色として使用
    bg_color = get_border_average_color(image)

    new_image = Image.new("RGB", (new_size, new_size), bg_color)
    left = (new_size - width) // 2
    top = (new_size - height) // 2
    new_image.paste(image, (left, top))

    return new_image

def process_images():
    """input内の画像を処理しoutputに保存"""
    os.makedirs(OUTPUT_DIR, exist_ok=True)

    for filename in os.listdir(INPUT_DIR):
        input_path = os.path.join(INPUT_DIR, filename)
        if os.path.isfile(input_path):
            try:
                with Image.open(input_path) as img:
                    square_img = make_square_image(img.convert("RGB"))
                    output_path = os.path.join(OUTPUT_DIR, filename)
                    square_img.save(output_path)
                    print(f"{filename} を処理しました。")
            except Exception as e:
                print(f"{filename} の処理中にエラーが発生しました: {e}")

if __name__ == "__main__":
    process_images()

Pillow

実行ディレクトリに、inputフォルダとoutputフォルダがあります。input内のファイルを処理してoutputに出力するPythonプログラムを書いてください。

【条件】
- 必ず単一スクリプト./app.pyで完結させてください。実行コマンドは「python app.py」です。pdf2imageのような外部依存が存在するライブラリの使用も禁止です。
- ライブラリの導入が必要な場合は./requirements.txtの内容も書いてください。このときバージョンの指定は行わないでください。
- ./input、./output、./_app以外を対象とするCRUD含めいかなる操作も禁止です。./inputはRのみ許可します。./outputはCのみ許可します。./_appはCRUDすべて許可します。
- 仕様に忠実かつ必要十分にしてください。明示的に設定項目が必要と指令された場合は、./input/settings.txtを作成したり、Tkinter GUIで都度設定変更できるようにするなどしてください。
- 特に./input、./outputディレクトリは適切な構造化により視認性を保つようにしてください。
- ./_appはユーザーが参照する必要のない一時ファイルやデータベースファイルの作成など自由に使ってください。
- README.txtの内容も示してください。

###

【仕様】
前回作成したプログラムをアップデートしてください。
前回は、元画像のフチの色の平均を背景色に設定して正方形にするということをしていましたが、今回は、「SAM huge」をつかって被写体を認識した後、その背景を削除するアプローチにしてください。このとき、重みはhuggingface_hubからコード上で取得できるようにしてください。


import os
from PIL import Image

# ディレクトリ設定
INPUT_DIR = './input'
OUTPUT_DIR = './output'
APP_DIR = './_app'

def get_border_average_color(image: Image.Image) -> tuple:
    """画像の上下左右フチの平均色を取得する"""
    pixels = image.load()
    width, height = image.size

    border_pixels = []

    # 上下のライン
    for x in range(width):
        border_pixels.append(pixels[x, 0])
        border_pixels.append(pixels[x, height - 1])

    # 左右のライン（端の角は重複してるので除く）
    for y in range(1, height - 1):
        border_pixels.append(pixels[0, y])
        border_pixels.append(pixels[width - 1, y])

    # RGBの平均を求める
    r_avg = sum([pix[0] for pix in border_pixels]) // len(border_pixels)
    g_avg = sum([pix[1] for pix in border_pixels]) // len(border_pixels)
    b_avg = sum([pix[2] for pix in border_pixels]) // len(border_pixels)

    return (r_avg, g_avg, b_avg)

def make_square_image(image: Image.Image) -> Image.Image:
    """画像を正方形にし、背景をフチ色の平均で塗る"""
    width, height = image.size
    new_size = max(width, height)

    # フチ色平均を背景色として使用
    bg_color = get_border_average_color(image)

    new_image = Image.new("RGB", (new_size, new_size), bg_color)
    left = (new_size - width) // 2
    top = (new_size - height) // 2
    new_image.paste(image, (left, top))

    return new_image

def process_images():
    """input内の画像を処理しoutputに保存"""
    os.makedirs(OUTPUT_DIR, exist_ok=True)

    for filename in os.listdir(INPUT_DIR):
        input_path = os.path.join(INPUT_DIR, filename)
        if os.path.isfile(input_path):
            try:
                with Image.open(input_path) as img:
                    square_img = make_square_image(img.convert("RGB"))
                    output_path = os.path.join(OUTPUT_DIR, filename)
                    square_img.save(output_path)
                    print(f"{filename} を処理しました。")
            except Exception as e:
                print(f"{filename} の処理中にエラーが発生しました: {e}")

if __name__ == "__main__":
    process_images()

import os
from PIL import Image

import torch
import torchvision
from huggingface_hub import hf_hub_download
from segment_anything import sam_model_registry, SamAutomaticMaskGenerator

# --- 初期設定 ---
INPUT_DIR = "./input"
OUTPUT_DIR = "./output"
TMP_DIR = "./_app"
CHECKPOINT_NAME = "sam_vit_h_4b8939.pth"

os.makedirs(OUTPUT_DIR, exist_ok=True)
os.makedirs(TMP_DIR, exist_ok=True)

# --- SAMモデル読み込み ---
chkpt_path = hf_hub_download("ybelkada/segment-anything", f"checkpoints/{CHECKPOINT_NAME}")
sam = sam_model_registry["vit_h"](checkpoint=chkpt_path)
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
sam.to(device=device)
sam.eval()

mask_generator = SamAutomaticMaskGenerator(sam)

# --- 処理関数 ---
def process_image(path_in, path_out):
    img = Image.open(path_in).convert("RGBA")
    img_rgb = img.convert("RGB")
    np_img = torch.from_numpy((torch.ByteTensor(torch.ByteStorage.from_buffer(img_rgb.tobytes()))).numpy())
    # PIL画像→numpy配列 or torch tensor処理できないため、PILでも扱える処理に変換
    img_arr = torch.tensor(torchvision.transforms.functional.pil_to_tensor(img_rgb)).permute(1,2,0).cpu().numpy()

    masks = mask_generator.generate(img_arr)
    # 面積最大のマスクを選択
    largest = max(masks, key=lambda m: m["area"])
    mask = largest["segmentation"]

    # 背景を透明化
    img_data = img.load()
    for y in range(img.height):
        for x in range(img.width):
            if mask[y, x] == 0:
                img_data[x, y] = (0, 0, 0, 0)

    # 正方形化（中央寄せ）
    size = max(img.width, img.height)
    canvas = Image.new("RGBA", (size, size), (0,0,0,0))
    offset = ((size - img.width)//2, (size - img.height)//2)
    canvas.paste(img, offset)

    canvas.save(path_out)

# --- メイン ---
for fname in os.listdir(INPUT_DIR):
    in_path = os.path.join(INPUT_DIR, fname)
    if not os.path.isfile(in_path):
        continue
    name, ext = os.path.splitext(fname)
    if ext.lower() not in [".jpg", ".jpeg", ".png"]:
        continue
    out_path = os.path.join(OUTPUT_DIR, f"{name}.png")
    process_image(in_path, out_path)
    print(f"Processed {fname} -> {out_path}")

torch
torchvision
huggingface_hub
segment-anything
Pillow