Metascan写真画像測量モードの利用-1 using Apple’s photogrammetry, object capture, by iPhone app. Metascan-1
はじめに
裸岩露頭のiPhone 12 Proを使った点群撮影 に続くページである。iPhone 12 ProにインストールしたメタスキャンをLiDARモードで使ってみて，この種のアプリのうちでは，おそらく最も優れたものであるだろうことは体感した。CloudCompareで他のソフトから得たcloudと比較したし，LiDAR走査線の飛び方も人間工学的な観点からも，おそらく最も優れていると感じている。
LiDARモードで撮影する際には，野外で，まあ舐めるように同じ場所を二回〜三回は巡って積み上げても問題はなく，むしろ，スキャンを重ねることで，より高い精度で地表を記録することができた。さて，写真モードではどうであろうか。空中写真測量では，飛行機は真っ直ぐに同じ高度を水平飛行して地上での撮影範囲が66%重なるようにコマ撮りをし，Uターンして，隣接する前回のコースでの撮影範囲を33%重ねつつ，個々の隣接するコマについては66%重なるように撮影してゆく。
さて，撮影する際の光軸は平行でなければならない，という写真測量のタブーは止揚されたのであろうか。そうしないと例えば孤立岩石などを回り込んで取り込むことが出来ない。冒頭のリンクページで紹介した写真モード撮影では平行軸を意識しつつ，少しずつ回っていったのである。
Lens Reviewから左の図を借用。光軸とはこの図の中央の水平線の軸をいう。
それを確かめるべく，本日Feb. 22夕暮れ前に箕面市萱野南にあるヴィソラに出かけて，人工水路千里川公園を撮影した。その結果，「撮影する際には光軸は平行でなければならない」というタブーは，必ずしも止揚されてはいないことを実感した。一度目は最大200枚という限界を知らず，予定の撮影は完了しなかったが，二度目は，枚数の観点からあまり丁寧にならないように意識しつつ，カスケード仕立ての場を130枚ほど撮影したあと，ふと思いついて，近接する大橋（千里川に懸かっている）の上からその場を遠望して撮影したのであるが，予測を超えて，すべての写真が合成されてはいた。
さて，自宅に戻ってmacを開くと，iCloudが5GBの限界に近づいたので容量を増やすか，というようなメッセージが出た。ここ数日の3Dスキャン撮影のファイルがiCloudに流れるのかと焦った。特にメタスキャンの写真モードでは，サーバーにアップロードされる。その際にiCloudが利用されるのではないか，と考えた。結論を言うと，ぼくのiPhoneのバックアップが自動でされているらしく（内容は不明），それで4.1GB近く圧迫していたのである。この中味を見ることはできないが，完全削除して，さっぱりと軽くなった。iCloudへのバックアップは不要である。macと共有したいものは「連絡先」など限られている。
今日撮影した350枚近い写真が削除されていないか心配したがもちろんキープされていた。iPhone 12 Proで，設定>一般>iPhoneストレージ，で見ると，使用済み: 49.5GB/256GBとなっている。アプリ使用メモリ容量は，その高いものから並んでいて，Metascan 5.21GB，ミュージック2.94GB，などと並び，ずっと下の方で，Scaniverse 291.5MB，さらにずっと下方にEveryPoint 160.6MBとなっている。後２者は捨てても問題はない。Metascanについても必要なファイルは全く無いので，現在残しているものは，実験終了後に破棄したいと考えている。
閑話休題： インターネットブラウザーとして，macのSafariはMacOS sierraゆえに古くて，Google Chromeでの本サイトの編集を本日から始めた。快調ではあったが段落の始まりの字下げがどうしてもできない。ネット上では字下げは，基本的には使用しないことになっている，という（頭おかしい）。WordPressが編集時には字下げが見えてもブラウザーでは表示されない。で，Safariに戻った。全然，問題なく，入力がそのまま反映している。最新のsafariでは実現していないのか，わからない。
以上，Feb. 22, 2022記。
１ 撮影現場体験から
２例のうちの，まずは２回目の成功例から示す。136枚撮影後，upload開始して6分間ぐらいで終了。１回目のアップロードの時には，iPhone 12 Proをポケットに入れたりテーブルに置くと，進行しなくなり，スリープする。画面を開いて，スリープ解除してまた再開するというような体験を最初の撮影の際に何度か経験し現地での作業を諦めていた。この2回目は手許で観察していた。アップロードが終わると，processingになる。この時には他の画面を見ても問題ない。撮影した個々の写真の閲覧したり，録音アプリを使ってメモ録音した。終了時刻を把握できなかったが，processingに要した時間は20分ほどであった。continueをクリックすることで，次の撮影などもできる。
２回目の撮影結果のアップロードの際にはスタバに居たがスタバのWi-Fi接続をしなかった。後の自宅での１回目の撮影結果のアップロードの体験からすると，アップロードはより早くなっていた筈である。フィールドで撮影したあと，すぐにアップロードしないで，自宅や宿に戻ってWi-Fi環境でアップロードしても問題ないようである。電池の消耗などを考えるとそうするのがいいが，ただ，撮影がうまく行ったかどうかを現地で確認した方がいい場合もある。なお，processingの速度は，iPhone 12 Pro内で実施されるため，Wi-Fi環境とは関係がない。
２ iPhone 12 Proでの作業
図１と図２は何れも，１回目の200枚を撮影した際のもので，自宅に戻って実行した際のものである。processing中に，最上段のinfoボタンで図１を見ることができる。写真撮影はwide cameraが使用されていることがわかる。図２では撮影した写真のすべてをタップして拡大して見ることができる。
図３〜５は，２回目の撮影の編集の様子である。
MetascanのLibraryを開いて，当該画像をタップ。最下段のメニューのeditを選ぶと，Topの枠が現れる。Front，Right（図３）のタブでも確認して画像全部が効率よく枠内に入っているので，いずれかの表示で，画像を速めにダブルクリックすると，下段のDoneの文字がオレンジに替わる（図３）ので，Doneをクリックする。
図４のように，3D画像が表示される。野外ではこれを図５のように画像を観察して，撮り直しするかどうかを判断するのが適切ではあろう。下段に並ぶアイコンのうち，shareをクリックし，ExportのFBXを選択して，Dropboxに保存する。Wi-Fi下で，瞬時に保存される。
写真も残したい場合，ExportのうちのPhotos (Raw images captured in Photo Mode) を選ぶことになるが，ドロップボックスを圧迫するので，できるだけ早く，macなどに移動してドロップボックスから削除した方がいいだろう。
ただ，ドロップボックスにアップロードしていたら，「ファイルをアップロードできません」とのメッセージ。大きすぎた。AirDropでmacに直接アップロードすると10秒ほどでできた。その結果を示したのが図６である。ダウンロードフォルダーに入っている。ファイルを見ると，IMG-0001.heic〜0138.heicとあり，個々のファイルサイズは2.5〜5.5MBと幅が大きい。
ネット検索したら次のサイトがあった。iPhoneで撮影した「.HEIC」形式の写真を「.JPG」形式に変換する方法 2020/03/10 藤田 智美 感謝。これによると，「.HEIC」とは、HEIF（High Efficiency Image File Format）という画像ファイル形式につけられる拡張子のこと。「HEIF」はヒーフ、「.HEIC」はヘイクなどと呼ばれています。最大圧縮率がJPEGの約2倍と非常に高いことから、2017年にiOS11とmacOS High Sierraで採用され、iPhoneの写真の標準フォーマットになりました。」とある。メタスキャンが敢えて特殊なファイル形式を用意している訳ではないということ。iPhoneで写真を撮ってmacの「写真Library」にこれまで取り込んでいて全く気付かなかった。写真アプリが自動で変換してくれていたんだなあ。藤田さんによって下記が推奨されていて，アクセスしたが簡潔な手続きでjpegへの変換が可能である。ダウンロードされたzipファイルは588MBで解凍しても容量に変化は無かった。今回は不要なので，すべての写真を削除した。
・HEICからJPGへのコンバーター（by Convertio）
・HEIC変換フリーソフト（by Apowersoft）
メタスキャンから出力されたFBXファイルについては後に記述する。
以上，Feb. 23, 2022記。長男夫婦の男の子誕生。
３ CloudCompareでの表示例
３.1 ２回目： ヴィソラ千里川沿いのカスケード付近
2022年2月22日17時13分撮影開始である。日差しはこの場では入ってこない。イオンのビルが夕陽を妨げている。日の入りは17時40分過ぎぐらいである。
このcloudについては，不要な領域を削除した。矩形削除すべく，図８のように，まずは捉えたい場所が見える形に回転などした。
左岸での，不要部分削除前の様子を図９に示している。
図10には，削除調整の後の様子を示している。
図11には，右岸も含めて，削除調整の完成形を示している。矩形セグメンテーションを２回しただけである。まだ多くのフロートが残るが放置している。
図12には，子ども達の遊び場カスケード（ぼくだけの呼称）付近を示している。編集画面上方は下流方向に向いている。
図13は，カスケードの向かい，つまり左岸側である。柵の横軸は多少波打っている。図中の二つの階段のうち，上の方の段も波打っている。
図14は千里川右岸のカスケードの部分である。水量が豊富であった。右側の階段はかなり波打っている。この階段の撮影密度は低かったと思う。カスケードと階段の石組み付近までを比較的丁寧に撮影した記憶がある。なお，動くものはこの写真画像幾何学には向いていない。カスケード直下の飛び石付近も水浸しであるので画像が揺らいでいる。
図15の編集画面の千里川下流側の階段は波打っていない。この階段部は近接で撮影せず，遠くの大橋から撮影した結果が反映されているようである。日光には遮られ，光の強度も低かったと思われるが，よく撮れていることに驚いている。写真測量は近接よりも橋の上で光軸をほぼ平行にして撮影したことでいい結果が出ているようである。この点は，写真測量をする際の注意点だろうと思う。
図16では，視点を千里川流路軸に近いものにしている。
図17では，千里川流路に対して垂直断面に近く，表示している。iPhone 12 ProのG認識能力はすごいと思う。
以上，Feb. 24, 2022記。
３.2 １回目： ヴィソラ北縁の千里川陸橋付近
次の図18は変換がバグった例。iPhone 12 ProからFBXファイル出力して，違和感のなかで触っていたが，iPhone 12 Proで見た時のものとあまりに違うので，再出力した。これは問題無かった。こういうことがあるので，exportの後，できるだけ早くCloudCompareで確認した方がいいだろう。
さて，図19は新たにFXB出力したものでtop viewである。
さて，図20は，ヴィソラ北縁の両側４車線道路の地下にあたる千里川のトンネルである。
図21の画像は何となく流れている雰囲気がある。
図22はトンネル内右岸壁と，天井も見える。紺色の部分は暗くて情報が得られなかったことを意味する。
図23ではそれなりに写っているようであるが。
図24では陸橋がほとんど見えない。細い橋のように見えるのは，下流側のトンネル入り口付近で情報が取得された場所である。トンネル内部の天井は暗いために，撮影されていないのである。
以上，千里川の陸橋部分を撮影した結果を示している。短い距離ながら，近接写真故に，トンネルを出る前に，200枚の限界に達してしまった。撮影範囲と撮影距離との関係を把握しなければならない。
４ 光軸をできるだけ平行に再度撮影
自然景観では，撮影の歪みを捉えにくい。人工物は線分が多くて，歪みを認知しやすいので，敢えて，同じ場所を撮影することにした。
１回目は失敗作である。千里川右岸を右岸を歩いて2m前後の近接距離で撮影した。光軸はほぼ平行に実施していた。それと暗がり故にメタスキャンに受け容れられなかった。
２回目はそれなりに成功であったが，１回目同様，右岸を右岸を歩いて近接で撮影した。それなりに成功というのは，一つは１回目に比べると距離が大きかった。通路にも壁面にもかなり余裕があった。それと，大橋からの撮影である。
以上の経験から，撮影は此岸ではなく，対岸をターゲットにすること。そして，やはり大橋から撮影することである。まずはこの視点で実行する。さらに一つの建物を撮影したいと思うが，適当な場所が無いなあ。
以上，Feb. 25, 26, 2022記。
おわりに
長引くのでこのページはここで終わりにする。本日Feb. 26, 2022，改めてヴィソラに行って，追加的実験をして，より理解することができた。次ページに続く。
